近日，中国移动研究院联合产业编制的《人工智能 智算集群异构人工智能加速器混合训练技术要求》国家标准在全国信息技术标准化技术委员会人工智能分会TC28 SC42正式发布。作为我国首个混合训练领域的国家标准，该标准系统地确立了智算集群异构人工智能加速器混合训练系统的总体架构，规定了混合训练功能和性能要求，为异构混合训练系统的研发、测试等环节提供了规范化依据。标准有助于凝聚行业技术共识，打破不同厂商、不同技术路线人工智能加速器之间的壁垒与生态孤岛，推动多元智算算力的融合调度与高效协同，为构建开放兼容、集约高效的新一代智算基础设施提供有力支撑。
当前我国智算产业繁荣发展，多厂商、多代际、多架构智算芯片共存，然而这些芯片在计算架构、软件栈、互联方式等方面存在着较大差异，形成智算芯片间的“资源墙”，难以形成“合力”，限制多样性智能算力的灵活运用和整体效能释放。为此，中国移动研究院联合产业界编制了本标准，从算网协同调度、混训框架、统一通信库等层面规范化定义了混合训练系统架构及能力要求，为实现混合训练技术提供了标准化路径。
本标准定义的混合训练系统总体架构主要分为三部分：统一异构算网协同管理调度平台负责管理调度异构算力和网络资源，支持异构混合训练任务稳定、高效运行；统一异构人工智能加速器通信库实现异构加速器并行训练通信能力；统一异构人工智能加速器混合训练框架和拆分策略技术实现大模型在异构算力上的拆分,减少协同训练时的木桶效应。
中国移动研究院自2023年底启动研究“芯合”异构混合并行训练技术，是业内最早布局该方向的企业之一，开创定义并突破了包括混训非均匀切分、统一通信机制等在内的技术能力。同时，中国移动研究院于2024年发布“芯合”异构混合并行训练系统1.0，依托前期技术积累，在本次标准参编过程中，联合产业开展了异构混训核心架构的详细设计：一方面，针对统一异构人工智能加速器混合训练框架及拆分策略，明确了需适配的AI框架类型与数量，并对异构流水线并行、异构并行策略自动寻优等异构拆分能力作出规范定义；另一方面，围绕统一异构人工智能加速器通信库功能与性能要求，规定了通信库接入框架要求，并对通信协议、通信库版本、通信策略动态选择等能力进行了定义。此外，标准还明确了模型支持类型、训练精度、混合训练效率指标等端到端大模型混合训练能力指标。当前，中国移动研究院同时积极参与《人工智能 智算集群异构人工智能加速器混合推理技术要求》国家标准的编制工作，为不同厂商、不同架构人工智能加速器在大模型推理场景下的协同运用提供标准依据。
后续，中国移动研究院将联合产业持续推动混训、混推技术标准体系的完善和落地应用，促进多元异构算力资源的高效融合，推动我国智算基础设施向开放兼容、绿色高效方向演进，为培育新质生产力、做强做优数字经济夯实算力底座。
本文来源：中国移动研究院
