当发现纳税人缴纳了超过应纳税额的税款，税务机关应该依照税收法律法规及相关规定办理退还手续，立即退还。