可以按照下面的方法来回复：

王主任好！你昨天邀请我入职的通知我收到了，非常感觉你对我的信任，但是我目前还有一点工作要做，估计需要有一定的时间，我怕担误你的工作，所以暂时无法前来工作。如果象这样回复了，一般都会理解。

建议开门见山，当你收到HR的电话邀请或者短信邀请时，而你又对这份工作不感兴趣时，直接说实话，不过要委婉谢绝。