可以这么回复：尊敬的老师，很抱歉不能及时参加事先约定的面试，这是基于本人在综合考虑过这项工作岗位的要求与个人能力后作出的决定，请您谅解。

直接向为你邀请公司面试表明你拒绝理由，这是两边尊重相互选择，要是连拒绝理由都没有而不当回事，这是个人人品的问题