11 月 21 日凌晨,腾讯首席 AI 科学家、混元大模型负责人姚顺雨与混元团队研究员在 Reddit LocalLLaMA 社区举行公开 AMA,这是混元团队首次面向全球开发者答疑。两小时内,团队回应了 300 余条提问,内容涉及底层架构取舍、长期路线规划、量化落地经验与开源生态适配。

混元团队首次公开 AMA:姚顺雨谈模型路线、架构取舍与能力短板

此前不到一个月,混元接连发布两款模型。11 月 4 日推出的 Hy4 跻身全球最强开源模型之列,拿下 Agent Arena 开源模型榜首、Artificial Analysis 中国模型第二;一周后,主打性价比的 Hy4 flash 跟进,单任务成本为 Hy4 的二十分之一,上线首日 Token 调用量突破 50 万亿。今年 2 月,混元才完成预训练与强化学习基础设施的全面重建,九个月里平均每两个月迭代一个大版本,采用 preview 先行、正式版跟进的研发方式。

两端并行的产品路线

团队的产品策略是一边扩大模型与数据规模、探索能力上限,一边压缩推理成本。后续更小尺寸的 Hy4-mini、Flash-Lite 已在规划中,24–31B 稠密模型正在评估,5–12B 级小型开源图像模型与新一代视频模型也在考虑范围,循环式 MoE、持续学习等方向则在研究中。团队表示,打磨扎实的小尺寸模型同样可能胜过大参数模型,部署成本也更低;同时仍认可 Scaling law 的有效性,下一代模型的参数量会显著扩大。

架构选择与稀疏度判断

Hy4 flash 继承了 Hy4 的 iHC、门控 MLA、DSA 技术底座,并新增混合 SWA、LatentMoE、Engram 三个组件。取舍围绕性能、成本与硬件适配展开:用 SWA 替代门控 DSA 可将 KV cache 压缩至原来的四分之一,DSA 则解决了 MLA 解码阶段计算强度过高的问题,团队最终放弃 GQA。谈及 MoE 稀疏度,团队认为激活参数实质决定计算预算,在总参数量不变时单纯降低激活参数会损害模型质量,过于稀疏的 MoE 在数据中心部署中还会占用大量显存而难以充分利用算力。团队也承认,过度思考仍是后训练阶段的核心难题,创意写作、文本可读性以及模型的过度拒绝问题仍有待改进。