不管是作废前还是作废后遗失发票都需要立即向主管税务机关报告，然后在指定媒体上声明作废，至于罚不罚款就看你的关系还有税务机关的态度了，按发票管理办法规定，未按规定保管发票的税务机关可以处1万以下的罚款，罚不罚主要看主管税务机关的态度。