根据提供的信息，太原市的民办校外培训机构由县级教育行政部门进行管理。具体来说：

民办培训机构的设立、变更、分立、合并、终止、年检及办学许可证换证等手续，应到住所地的县级教育行政部门办理。

法人登记手续则应前往住所地的县级民政局或市场监督管理局办理。

教育行政部门还负责审核发放办学许可证。

此外，不同类型的培训机构（学科类和非学科类）会有专门的管理和监督机制，由文化、科技和体育部门分别负责非学科类培训。