不可以，具体原因如下。

1、有日本护照只能说明你可以去日本旅游，与能不能去香港是两回事。

2、去香港必须到出入境管理处办理中华人民共和国往来港澳通行证，有了港澳通行证才可以去香港。

3、有了港澳通行证以后必须到有关部门签注出入境有效期，方可去香港。