交大“交我算”计算集群：共建openEuler开源技术新生态

　　党的二十大报告提出“加快建设制造强国、质量强国、航天强国、交通强国、网络强国、数字中国”。《数字中国建设整体布局规划》明确“建设数字中国是数字时代推进中国式现代化重要引擎”。铺好数字经济发展的基石，打通数字基础设施，为数字经济全面高质量启航营造良好生态尤为重要。

　　以操作系统为代表的基础软件，既是连接底层算力资源和计算生态应用层的产业核心，也是统筹各类数字资源、激发数字要素活力、构建数字经济整体布局的关键。培育好连接底层算力资源和上层应用的操作系统基础软件，推动信息技术应用覆盖社会生产生活的方方面面，构建互联互通的新型数字化产业，才能够真正实现释放数字潜能，广泛赋能实体经济。

　　从星火到燎原，欧拉成为中国第一服务器操作系统

　　此前，我国基础软件产品大多依赖国外技术，操作系统作为软件领域基础研究中的重要环节，在基础软件中处于核心地位，也长期为国外所主导，国产化操作系统以及与之相应的共创共享的开源模式呼之欲出。

　　近年来，随着我国计算生态和算力设施建设的日臻提升，中国操作系统迎来了高速发展，其中openEuler(欧拉)操作系统凝聚华为十余年的沉淀，历经四年开源生态建设，成为国产操作系统的一骑绝尘。根据IDC 报告预测，2023 年中国服务器操作系统领域，openEuler(欧拉)系市场份额第一，达到 36.8%。

　　起源于华为自研服务器操作系统的openEuler(欧拉)操作系统，面向数字基础设施，支持服务器、云计算、边缘计算、嵌入式等应用场景，自2019年正式开源以来，连接全球开源基金会、开源组织、开发者，共建全球开源新生态。四年来，从星星之火到燎原之势，openEuler已经成长为符合国际标准的开放治理、合规运作、具备安全供应链的全球化社区，在中国汇聚全球开源力量，为世界开源贡献中国智慧。

　　欧拉操作系统的崛起与欧拉开源社区的生态发展、社区治理，以及欧拉生态参与全球体系息息相关。中国工程院院士倪光南在由开放原子开源基金会、中国电子技术标准化研究院，国家工业信息安全发展研究中心、中国软件行业协会共同主办的“操作系统大会2023”上表示：“在当前我国正处在全面建设社会主义现代化国家的新征程，面临新形势、新任务，我们迫切需要重视开源，学习开源，用好开源，特别是在信息领域，开源可以成为发挥中国人才优势的创新平台，成为中国融入科技创新网络，参与国际治理的有效方式。正是在这个大背景下，开源欧拉的成功实践，具有强大的现实意义。”

　　开放原子开源基金会孙文龙理事长认为，openEuler的快速发展证明，充分利用开源、参与开源、支持开源、回馈开源，是实现操作系统技术创新和产业繁荣的路径。

　　欧拉的繁荣同样也是产业各界集智荟力的结果，在欧拉操作系统广泛应用，推动数字化转型走深走实的过程中，出现了一批具有示范性商业实践的应用落地。其中，上海交通大学“交我算”平台openEuler集群作为教育行业的成功实践，获得由OpenAtom openEuler社区联合国家工业信息安全发展研究中心，携手业界专家最终评选的“2023年度openEuler领先商业实践”殊荣。

　　“交我算”openEuler集群为教研计算平台提供示范推广价值

　　随着信息通信技术的迅速发展，尤其是互联网、大数据、人工智能等技术的广泛应用，新的学习渠道和教学方式正在形成，教育要素也在发生深刻变革，教育行业正面临着转型课题与巨大的发展机遇，教育数字化转型成为全球教育变革的重要战略。党的二十大将“推进教育数字化”首次写进党代会报告，提出“推进教育数字化，建设全民终身学习的学习型社会、学习型大国”。面向新一轮科技革命和产业变革，积极推进教育数字化转型，适应新时代人才培养的需求，是推动教育强国的必然要求。

　　获得“2023年度openEuler领先商业实践”荣誉的上海交通大学“交我算”平台openEuler集群从属于校级高性能计算服务平台“交我算”。校级计算平台“交我算”由网络信息中心负责建设及管理，全面支撑学校的教学、科研和管理的计算需求，重点支持校内高水平用户科研，提供HPC+AI算力资源，覆盖各学科门类，支撑海洋学、生物医学、航空航天、机械制造、天体物理等领域的科学研究及工程应用。

　　“交我算”寓意师生的计算需求可以放心交给“我”来算，平台从2013年开始建设，目前已发展成为国内高校顶尖的计算平台，根据计算需求提供“思源一号”高性能计算平台、π2.0超算平台、AI 平台、ARM平台四种计算支持。“交我算”openEuler计算集群是国内高校首个基于ARM处理器的HPC集群，集群建设初期采用CentOS 7.6系统，2023年交大网络信息中心开展了国产操作系统迁移专项工作，将ARM集群操作系统全面替换为openEuler22.03。

　　此前，在服务器操作系统居领先地位的CentOS操作系统于2020年开始停止维护，对高性能计算来说继续使用CentOS将面临重大安全隐患，同时我国信息技术的发展也对操作系统安全性能的要求进一步提高，这使得计算领域对安全稳定、自主可控、可替代CentOS的国产操作系统的需求更为迫切。

　　openEuler搭载了鲲鹏，相较CentOS拥有更好的性能与兼容性，然而在高性能计算领域还未有大规模应用。在openEuler系统的迁移准备过程中，交大网络中心围绕openEuler的兼容性、使用openEuler对于超算应用性能的影响，开展了一系列的测试与分析，具体包括：在搭载了鲲鹏的ARM架构超级计算机上成功部署了32个openEuler计算节点，为其部署了超算软件栈，随后安装并成功运行了共计22个基准测试与超算应用;进行了操作系统层面的微基准测试、单节点的核函数测试，以及千核规模的超算应用测试，将评测结果与使用CentOS时的结果进行了对比与详细的分析;过程中优化集合通信性能，使用MPI和OpenMP混合编程、调整OpenMPI 的集合通信算法、更换编译器与通信库等方法，提高了使用openEuler时的集合通信性能。

　　“交我算”ARM 架构超算平台是国内首台基于ARM处理器的校级超级计算机。交大网络中心依托“交我算”平台对openEuler开展的评测与分析工作，验证了openEuler对于ARM架构超级计算机与多个典型科学计算应用具有良好的兼容性，并且发现openEuler相较于CentOS具有更低的操作系统噪声和更优的内存管理能力。

　　交大网络中心通过openEuler的迁移，定制了适用于“交我算”平台的openEuler批量部署和集群配置管理方案，实现了国内高校首个基于ARM处理器的HPC集群在硬件和系统层面上均采用了全国产化解决方案，积极呼应了国家提升自主创新能力、推动国产化替代的政策大方向;同时在高性能计算领域集群评测、分析以及性能优化的工作，不仅判断了ARM架构超级计算机上openEuler代替CentOS的可行性，也为国产操作系统在高性能计算领域的大规模应用和完善提供了应用先例和推广经验。

　　“交我算”openEuler集群建设为开源社区贡献生态发展力量

　　2023年7月，“交我算”平台正式上线了迁移完成后的openEuler计算集群。集群上线后面向上千个课题组共数千个用户，提供了持续可靠的计算服务。到目前为止集群已稳定运行5个月，月平均资源利用率稳步上升，用户对openEuler系统的易用性和稳定性受到了普遍认可。另一方面，“交我算”平台openEuler计算集群的实践也充分验证了openEuler在HPC领域替代CentOS的可行性。

　　在“操作系统大会2023”上，openEuler的开源生态和中国开源走向国际成为与会专家和产业界代表们热议的话题。据openEuler平台最新数据，目前开源社区已吸引213万开源用户，汇聚17000多名开源贡献者，1400多家头部企业、研究机构和高校加入，成立104个特别兴趣小组(SIG)，这表示国产操作系统已经取得了里程碑式的重要进展。

　　openEuler委员会主席江大勇在“操作系统大会2023”上表示，欧拉开源四年，历经了1445天成为中国服务器操作系统新增第一份额，实现了跨越式的发展。在技术创新、行业应用、产业生态建立了完善的发展体系，形成了正循环。欧拉通过开源协作的社区模式，汇聚了从服务器、SV、ISV和万千开发者的力量，以开放的产业生态赋能千行万业的生产，支撑了智能化的升级。欧拉操作系统支持全球98%的开源软件，致力于打造国际化的开源协作平台，汇聚全球开源力量，为世界开源贡献智慧。

　　江大勇在谈到openEuler作为数据基础设施的开源操作系统，解决以往操作系统在实际应用中面临“一种操作系统对应一个应用、用户需要进行一次适配”问题时说：“openEuler创造性地提出一套代码、一套架构支持多样性算力、支持全场景，openEuler的通用支持也包括对智能芯片的支持。openEuler不仅仅是替代者，更符合接下来共用共享、生态互通操作系统的技术趋势。”

　　与openEuler生态的不断发展同步而行的是，openEuler系统已经在通信、金融、能源、交通、政务、信息化等领域开展规模化商用，承载产业链各端力量，广泛赋能实体经济并创造了显著的社会效益。

　　上海交通大学“交我算”openEuler集群在平台建设和推广过程中所集成的经验给openEuler开源社区贡献了生态发展力量。在系统迁移的前期测试中，交大网络中心“交我算”团队发现HPC领域广泛使用的开源并行文件系统Lustre在openEuler系统上存在部分兼容性问题，如内核模块编译失败。“交我算”团队与openEuler社区、Linaro协作，共同推进了lustre并行文件系统在openEuler上的适配工作。目前经过适配的系统组件包和预编译的lustre 2.12.5版本client端软件包已被纳入openEuler 22.03 SP2发行版本。由Linaro主导的server端适配工作也在继续进行，计划纳入22.03 SP3发行版本。此项适配工作填补了openEuler在并行存储领域支撑能力的一块空白，增强了openEuler系统在高性能计算行业的竞争力。

　　上海交通大学网络信息中心“交我算”平台开发工程师张天阳回想起在openEuler集群应用推广中OpenFOAM的应用案例移植给他留下了深刻的印象：“OpenFOAM是一个广泛应用于工程领域的自由、开源的计算流体力学软件，在交我算平台上使用该软件的用户群体数量非常多。这本来是个较为复杂的程序，但openEuler系统提供了友好的开发环境和丰富的应用生态，使得我们能够沿用CentOS环境的部署经验，大大降低了移植难度。用户使用角度来说，也能够直接在openEuler集群上复用他们的工程项目，有助于迅速提升openEuler集群的利用率。”

　　接下来，上海交大网络信息中心还将与openEuler社区展开深度合作，针对“交我算”openEuler集群系统中发现的问题，向社区直接提出改进需求并跟进相关优化和适配工作。张天阳相信这些从生产环境中挖掘出来、立足于实际业务的需求，和在实际操作过程中总结出的成熟经验有助于推动openEuler开源生态的自我完善和发展。交大超算平台团队人员还将参与openEuler SIG组的工作会议和年度用户大会，为openEuler开源社区贡献交大计算支持。

　　openEuler开源生态立足数字技术关键期，服务国家现代化建设

　　自openEuler推广社区开源生态至今，秉承“共建、共享、共治”的原则，四年生态发展历程也是中国开源界在当前数字经济技术自主创新的关键时期鼎立革新、奋力推进中国式现代化进程的缩影。openEuler计算生态和开源社区的崛起，表明国内操作系统扭转了过往信息技术领域软件生态建设不足的历史，全面支持大数据、云计算、人工智能、算力基础设施、工业互联网等数字要素云边端协同的发展体系，开启了国产操作系统研发与推广的新局面。

　　正如倪光南院士所述：在上万名开发者的参与和贡献下，openEuler已经从一粒种子成长为参天大树，承担起构建我国信息领域技术和数字经济底座的重任。

　　与时俱进，守正创新。上海交通大学“交我算”平台建于2013年，彼时已是当时国内高校最大超算系统，经过十年交大人的持续建设，目前发展成国内高校顶尖的算力中心，同时“交我算”团队是目前国内最大的校级计算团队。在校级计算平台的探索与实践上，“交我算”平台openEuler集群既为交大全校科研创新的支撑升级计算服务模式，在国内高校计算平台建设领域推出了与国产开源生态合作的先例，以积极响应新时期教育数字化转型、高校教学科研对计算平台和软件生态支持升级以及国产化操作系统应用的需求，又推动了openEuler开源社区丰富应用生态、完善优化与适配、提升高性能计算性能的生态建设。

　　产教融合、产学实践，持续推动国产操作系统与开源生态进步与创新。上海交通大学网络中心“交我算”平台开发工程师张天阳期望“交我算”openEuler集群的实践经验对于其他高校起到借鉴意义，同时期望openEuler能够进一步完善系统的应用生态，吸引到更多用户和机构，进一步扩大在国际上的知名度和影响力。