在二级建造师挂靠单位时，通常需要保存以下证件：

1. 建造师执业证：这是证明您具备相应执业资格的必要证件。

2. 安全考核证：部分单位可能会要求提供此证件，以证明您通过了安全知识考核。

3. 执业章：通常需要留在挂靠单位，作为执业的凭证。

而二级建造师资格证一般是由您个人保留。

请注意，挂靠行为可能涉及法律风险，请确保所有操作合法合规。