当需要退回增值税专用发票时，通常需要以下联次：

发票联：

这是购买方用于报销或记录账务的联次。

税款抵扣联：

这是购买方用于抵扣进项税额的联次。

在退货或销售折让的情况下，如果购买方未付货款并且未作账务处理，需要将原发票联和税款抵扣联主动退还给销售方。销售方收到后，应在这些联次上注明“作废”字样，作为扣减当期销项税额的凭证。

如果购买方已付货款或者货款未付但已作账务处理，发票联及抵扣联无法退还，购买方需要取得当地主管税务机关开具的进货退出或索取折让证明单，并将其提供给销售方，作为销售方开具红字专用发票的合法依据。

请注意，这些规定可能因地区或具体情况有所不同，建议咨询当地税务机关或专业会计师获取最准确的信息