根据《中华人民共和国公务员法》规定，公职人员及其配偶子女的护照和出入境证件应当报告所在机关或者单位负责人并交由其代为保管，以确保其不会因私自出境而对工作带来影响。

因此，公职人员的直系亲属护照也应当交给单位进行保管。这是为了维护国家安全和保持公务员稳定地履行职责。