夫妻信任是和谐的基础，没有了信任，很难再走下去了。不过无风不起浪，如果真的没有事实，你可以据理力争，维护自己的脸面和尊严。他诽谤你让他拿出证据。