根据规定，退房违约责任取决于合同约定和法律规定，且约定（合同）优先。

合同中若有约定违约责任并明确违约金具体数额的，从其合同约定。如果没有约定，按照法律规定处理，如：支付定金一方违约的，定金不予返还;收取定金一方违约的，双倍返还定金；双方都有过错的，按照各自过错程度分担。违约金不足以弥补损失的，可以要求违约方按对方所受损失进行赔偿;违约金过高的也可以请求减少赔偿金额。按照你的这种情况，最好是先查看一下合同文本约定的违约责任相关条款。