可以不用去，但您的情况是面试已经过了，所以就要承担相应的后果：将会取消本次的录用资格，并被记入个人诚信档案，也会禁止在一定年限内参加该地的省考或国考，一般是2-3年内不得报考同样的职位。

不同单位有不同的要求，具体事宜，建议跟招录机关的工作人员咨询下。值得一提的是，目前公务员考试诚信档案全国联网，这意味着，考上公务员无故弃考者将会有可能面临公务员考试全国禁考，将对自己未来的职业生涯造成损失。