“像赌一把全押”,腾讯姚顺雨领衔混元开源后的一场深夜问答

2026-11-21 10:09:31未知 作者:徽声在线

11月21日凌晨,北京时间刚过零点,腾讯首席AI科学家姚顺雨带着混元团队出现在海外社交媒体社区,做了一场文字AMA(公开问答)。问题来自全球开发者,回答前后持续两个多小时。

在提问的全球开发者眼中,中国开源模型已经自成一张对照表;混元被拿来比较的对象是千问和Kimi。

问答环节,有人直言:字节跳动和Kimi等(参数量)似乎都在往3T甚至5T推,你们为什么停在700B?混元团队回应:“Hy3和Hy4已经证明,较小的模型也能超越较大的模型,而且更便宜。”

不过,混元团队也表示,Hy4仍有很大的改进空间,尤其是通过后训练。“我们正投入大量精力进行大规模强化学习,同时继续改善用户体验和模型安全。我们还计划训练更大规模的模型。”

当被问及开发中最难的时刻,混元团队成员回答是:“从Hy3到Hy4的过渡是非常艰难的。我们没有进行那么多详细消融实验研究,因此在训练开始时有很多不确定性。在训练开始时,我真感到非常紧张。幸运的是,训练最后出乎意料地顺利。感觉就像是在赌一把全押,结果居然赢了。”

技术取舍上,混元团队提到了一些细节:架构选择在MLA(Multi-head Latent Attention,多头潜在注意力)和GQA(Grouped Query Attention,分组查询注意力)之间反复权衡了相当长一段时间。MLA计算强度远远高于GQA,这使得在推理GPU上进行规格解码时受到了计算限制。然而,在相同的KV缓存大小下,MLA提供了比GQA更好的模型质量。幸运的是,随着DSA(DeepSeek Sparse Attention)引入,能够降低MLA在解码过程中的计算强度。这使得平衡发生了转变,最终决定选择MLA。

换言之,混元团队选了更吃算力但效果更好的注意力方案,再用稀疏注意力把推理成本压回来。

当被询问后训练里最难改的行为时,混元团队只回了四个字:过度思考。

点击展开全文
你关注的
从“几年一遇”到“一年几遇”,AI时代网络攻防失衡加剧 奇安信齐向东:主战场转向制造业与服务业从“几年一遇”到“一年几遇”,AI时代网络攻防失衡加剧 奇安信齐向东:主战场转向制造业与服务业 健康管理成全球政策新焦点 外滩热议AI如何引领“主动健康管理”新风尚健康管理成全球政策新焦点 外滩热议AI如何引领“主动健康管理”新风尚 地平线押注车企中“沉默的大多数”地平线押注车企中“沉默的大多数”
相关文章
A10后备厢被几箱啤酒压穿?零跑:受损部件为后备厢盖板下方独立储物盒A10后备厢被几箱啤酒压穿?零跑:受损部件为后备厢盖板下方独立储物盒 短剧增长、AI加码,快手寻找新的增长空间短剧增长、AI加码,快手寻找新的增长空间 网传零跑A10后备厢被几箱啤酒压穿,零跑回应网传零跑A10后备厢被几箱啤酒压穿,零跑回应 马斯克从深圳飞到上海收到超级工厂硬核“手办”马斯克从深圳飞到上海收到超级工厂硬核“手办” 百年未解难题迎来突破?Anthropic数学家宣称破解黎曼猜想百年未解难题迎来突破?Anthropic数学家宣称破解黎曼猜想 华为新品牌“星芒”首款手机亮相,余承东:搭载麒麟9030S芯片及鸿蒙7操作系统!相关负责人:将验证新的AI技术与产品体验,不急于冲销量华为新品牌“星芒”首款手机亮相,余承东:搭载麒麟9030S芯片及鸿蒙7操作系统!相关负责人:将验证新的AI技术与产品体验,不急于冲销量