十三爷胤祥陵墓在军阀混战时代被多次破坏，1935年时，当时河北省长宋哲元和涞水县长王作舟用一个营的军队，押着80多个盗墓贼把墓挖开，墓葬全被挖空，葬品及所有文物被盗走。

日本帝国主义侵占时期，为了作战，将怡王陵拆毁，地面建筑全被平毁，现存文物不足三分之一。