离婚损害赔偿只能由无过错的一方提起，而且只能在离婚诉讼时或离婚后一年内提起。

【法律依据】《婚姻法》第四十六条规定，有下列情形之一，导致离婚的，无过错方有权请求损害赔偿：

(一)重婚的;(二)有配偶者与他人同居的;(三)实施家庭暴力的;(四)虐待、遗弃家庭成员的。