在郑州市，学校用地的地下室是否可以用来建设学校教辅用房，首先需要参考当地的建筑规范和土地使用规定。

这涉及到多个因素，包括但不限于：

1. 土地使用权：首先要确定学校是否拥有地下室的土地使用权。如果使用权属于学校，那么理论上该地下室可以用于建设教辅用房。

2. 建筑规范：地下室作为教辅用房需要符合相关的建筑规范和安全标准。这包括结构安全、防火、通风、采光等方面的要求。

3. 教育部门批准：即使地下室符合建筑规范，也需要得到当地教育部门的批准才能用于教辅用房。教育部门可能会根据学校的实际需求、教育资源分配等因素来做出决定。

4. 环保和卫生要求：教辅用房可能需要满足特定的环保和卫生要求，以确保学生的学习环境和教职工的工作环境安全、健康。综上所述，虽然从技术和理论上讲，郑州市学校用地的地下室有可能被用于建设教辅用房，但实际操作中需要遵循一系列的规定和程序。建议学校与当地的规划、建设、教育等部门进行沟通，了解具体的政策规定和操作要求。