小红书联合北大推出UltraEP：引领大规模MoE训推负载均衡新风尚

7月20日，小红书官方发布消息称，其携手北京大学共同研发并推出了名为UltraEP的创新性负载均衡方案。这一方案首次将基于'精确'路由信息的'实时'负载均衡技术成功引入生产系统之中。具体而言，UltraEP能够在每个microbatch以及神经网络的每一层中，动态地对热点专家进行复制操作，从而确保真实的训练与推理过程能够无限接近于理想性能状态。据小红书团队介绍，经过实际测试，UltraEP方案平均能够达到理想性能的94.3%，相较于当前业界最先进的训推框架，性能提升了高达1.49倍。目前，该方案已经成功应用于大规模预训练的实际生产环境之中，展现出了卓越的性能与稳定性。