#稀疏路由 (1)

ID Balancing：基于 PID 负载控制的极稀疏 MoE 稳定训练

通过混合专家（MoE）扩展大语言模型，可以在几乎不增加单 token 计算量的前提下大幅增加参数量；但要把参数规模继续往上推，就需要越来越稀疏的路由，而路由越稀疏，专家负载不均就越严重。负载不均会降低参数利用率与训练效率，甚至破坏训练稳定性，成为可靠扩展的瓶颈。本文把两种代表性的免辅助损失方法统一看作不完整的 PID 控制器：DeepSeek 的 loss-free 方法相当于固定步长的积分控制，Kimi K3 的 Quantile Balancing 相当于广义的比例控制。基于这一控制视角，作者提出 ID Balancing——一个积分-微分控制器：积分项随负载误差的大小缩放，微分项仅在失衡恶化时开启，因而在误差大或正在变大时给出更强校正，在接近平衡时只做小幅更新。在 768 个专家的 Top-10 / Top-5 / Top-3 三种路由设置下，相对最优基线，ID Balancing 在 Top-3 下把主干网络最坏 MaxVio 降低超过 50%、训练平均 MinVio 降低超过 12%；当总参数从 18.9B 扩到 69.9B（Top-10-of-768）时，其最坏 MaxVio 几乎不变，比辅助损失基线低约 89.6%。同时它保持了有竞争力的语言建模与下游性能。稀疏度越高，ID Balancing 的优势越明显，为扩展更大、更稀疏的 MoE 模型提供了可行路径。