可以公证，但是不是通过正规的手续，法律效力不强。

日本大学的毕业证需要，首先在日本文部省开个证明，然后拿着这个证明去中国驻日本大使馆开公证证明。

回国后，拿着中国大使馆的证明以及学位证到教育部出国留学学历登记的机构登记。

登记后，你的学历在教育部网页上就有备档了。这样的公证是最有权威的。