政府部门在出具税号时，应当遵循以下规定：

1. 政府行政机关和事业单位不属于企业范畴，因此在开具增值税普通发票时，不需要填写纳税识别号。

2. 对于政府单位，应当使用其统一社会信用代码代替纳税识别号。

3. 在开具增值税普通发票时，需要在发票上的“纳税人识别号”一栏准确填写政府单位的统一社会信用代码。

4. 如果发票上没有填写统一社会信用代码，政府单位将无法进行报销。

请确保在开具发票时遵循最新的税务规定和要求。