跟着东说念主工智能时代的马上发展，大模子参数目激增。MoE 荒芜大模子因能在进步容量的同期保捏老师臆测量，成为了当下的盘考热门，但推理时的性能瓶颈仍制约着其进一步发展。在此布景下，中国科学时代大学东说念主工智能与数据科学学院实际院长张燕咏素质团队，在中国科学时代大学 鲲鹏昇腾科教翻新超卓中心的算力援救下，收效研发出了基于内行聘用分裂掂量的内行负载平衡和all2all通讯平衡框架。

该框架的盘考死力于科罚两浩劫题——内行负载不均及较大的臆测通讯支出，并通过“三步走”收效结束了推感性能的优化。为了让模子在并行推理时能更合理地分派资源，团队最初从内行聘用的划定脱手，通过分析相同 token 在 MoE 层聘用内行的特征并归类，收效掂量出token的内行聘用旅途偏好。

接着即是科罚推理经过中的内行负载不平衡问题。团队依据token对内行聘用偏好的掂量抛弃，精确判断出内四肢态拜谒的频率和膺惩性，通过复制高频内行、替换非膺惩内行的相貌结束了负载平衡。其中昇腾推理引擎MindIE提供的性能分析用具可结束性能数据的可视化，在及时监测内行负载、统计拜谒频率等方面提供数据参考，发扬了膺惩作用。

镌汰分裂式臆测的通讯时延是第三步。团队阐明臆测节点上的数据对内行聘用的掂量抛弃，将内行提前部署到对应的节点上，并辩论需要害密联结的内行放在淹没臆测单位，让数据与所需内行在物理位置上更接近，同期结合昇腾384超节点选择的高速总线互联时代，最终大幅镌汰了跨节点和跨臆测单位的通讯破钞。

伸开剩余38%

在系列时代冲破下，这次技俩效力显耀。基于该翻新框架，在多尺寸、多结构的 MoE 模子中，推理时期、all2all 时期、MoE 层时期及负载挣扎分数较现存主流决议进步超 30%;多卡复杂场景里，前三技俩的进步 30%，推理时期进步 20%。

本次技俩的效力，为竖立者借助昇腾时代优化 MoE 荒芜大模子推感性能提供了贵重鉴戒，将加快其在各界限的落地垄断。未来，中国科学时代大学 鲲鹏昇腾科教翻新超卓中心将捏续久了产学研协同翻新，依托昇腾软硬件平台，在前沿AI模子优化界限捏续冲破，为自主翻新东说念主工智能计策与数字经济发展孝顺力量。

发布于：天津市