可以退还的。

灵活就业人员缴纳社保的时候，所有费用都是个人承担的，一般都是按照缴费基数的20%缴纳，其中只有8%的费用能进入个人账户，也就是退保时能退的钱，而另外的12%就会划入统筹账户，这个钱是退不回来的，那也就是灵活就业人员退保的话，会损失12%的社保费用。