留学行政部门主要是由 教育部和国家留学基金管理委员会（CSC）负责。具体来说：

教育部：

作为国家公派留学的主要主管机关，教育部负责制定国家公派留学政策，以及相关项目的组织和管理工作。教育部还会委托国家留学基金管理委员会（CSC）来实际操作国家公派留学的具体事务。

国家留学基金管理委员会（CSC）：

这是直属于教育部的非盈利性事业法人单位，负责国家公派留学工作的具体实施。CSC根据国家的法律法规和相关方针政策，负责中国公民出国留学和外国公民来华留学的组织、资助和管理。

此外，各个高校和研究机构也会根据自己的情况设立相应的工作机制和服务体系来支持本单位人才的公派留学需求。

对于国内留学服务，则是由教育部留学服务中心负责。

综上所述，留学行政部门主要涉及教育部、国家留学基金管理委员会以及一些高校和研究机构，各自承担不同的职责，共同构成完整的留学管理体系。