因其长孙宋慎牵连胡惟庸党案，朱元璋本欲杀戮，经皇后、太子力劝，改为全家流放茂州（现在四川省茂汶羌族自治县）。

1381年五月二十日（6月12日），途中病死于夔州（现在重庆奉节县），后谥文宪。