两小时内,姚顺雨和混元团队解答了 300 余条开发者提问,从底层架构取舍到长期路线规划,从量化落地经验到开源生态适配,几乎覆盖了当前开源大模型领域所有核心争议与关切。
过去不到一个月,混元刚刚完成一轮高密度产品发布——11 月 4 日推出的 Hy4 首次跻身全球最强开源模型之列,拿下 Agent Arena 开源模型榜首、 中国模型第二的成绩;一周后,定位「极致性价比」的 Hy4 flash 快速跟进,单任务成本仅为 Hy4 的二十分之一,上线首日 Token 调用量便突破 50 万亿。
如果把时间倒回九个月前—— 今年 2 月,混元才刚刚完成预训练与强化学习基础设施的全面重建。从重建底座到连发两款标杆级模型,九个月、平均每两个月一个大版本的迭代速度,背后是「 先行、正式版跟进」的闭环研发逻辑:把真实业务场景的反馈直接注入研发链路,在解决实际问题中完成能力跃迁。
模型路线上,团队走的是双线并行的思路,既相信规模化的潜力,会继续训练更大的模型探索能力上限;也同步布局小尺寸模型与端侧场景,试图在能力、成本与速度之间找到更务实的平衡点。
落到具体技术选择上,无论是注意力机制选型、MoE 稀疏度设计,还是量化方案的取舍,团队的判断都锚定实验结果、硬件适配条件与实际部署效率,并未将参数规模或榜单分数作为核心决策标准。
对于当前的能力短板,团队也没有回避,称过度思考仍是后训练阶段的核心难题,创意写作与文本可读性还有提升空间,递归自我改进相关技术尚处于早期摸索阶段。
此外,问答也覆盖了开发者普遍关心的实操问题,包括本地运行门槛、工具调用适配、开源生态合作进展;安全层面则提及了有害数据过滤、训练防护、红队评估等治理机制,同时坦言,模型的过度拒绝问题仍需进一步优化。
以下是极客公园从本次 AMA 中提炼出的核心问题,覆盖模型路线、技术架构、研发难点、开源生态等核心维度。
01
混元的整体产品路线是什么?
接下来还有哪些新模型?
混元采用「两端并行」的研发策略:一边扩大模型与数据规模,探索智能上限;一边压缩推理成本,主打极致性价比,Hy4 与 Hy4 flash 分别对应这两个方向。
后续产品路线清晰,更小尺寸的 Hy4-mini、Flash-Lite 模型已在规划中;24–31B 稠密模型正在评估;5–12B 级小型开源图像模型、新一代视频模型均在考虑范围内;循环式 MoE、持续学习等前沿方向也在积极研究。
02
不跟风 3T/5T 超大规模参数,
混元对模型规模的判断是什么?
团队认为,打磨扎实的小尺寸模型同样可以胜过大参数模型,且部署成本更低,研发过程中能沉淀更多技术经验。但混元同时相信 law 的有效性,下一代模型的参数量会显著扩大,会持续向更大规模投入研发。
03
Hy4 与 Hy4 flash 的架构核心差异在哪?
关键取舍逻辑是什么?
Hy4 flash 继承了 Hy4 的 iHC、门控 MLA、DSA 技术底座,同时新增混合 SWA、、 三大组件。
所有架构选择均围绕「性能-成本-硬件适配」的综合权衡:比如改用 SWA 替代门控 DSA,可将 KV cache 体积压缩至原有的 1/4,大幅降低服务成本;DSA 技术则解决了 MLA 解码阶段计算强度过高的问题,最终让团队在长期权衡后放弃 GQA、选择效果更优的 MLA。
此外,iHC、 这类架构创新并非大模型专属,在小尺寸模型上能带来甚至更大的性能收益。
04
MoE 是不是越稀疏越好?
极端稀疏路线为什么行不通?
在激活参数量固定的前提下,提高稀疏度确实能提升计算效率;但如果保持总参数量不变、单纯降低激活参数,会显著损害模型质量——激活参数本质决定了计算预算,稀疏度的效率提升无法完全弥补计算量减少带来的能力损失。
对于数据中心部署,过于稀疏的 MoE 并不友好:会占用大量显存却无法充分利用算力,相同吞吐量下,不如运行总参数相当、激活参数更高的模型;端侧场景则会采用独立的架构-硬件协同设计思路。
05
端侧视觉模型的最小可用规模是多少?
多模态有什么规划?
针对图像推理、UI/图表理解等深度视觉任务(非单纯 OCR 或图像描述),团队验证,激活参数约 30 亿(A3B)级别的模型已经可以支撑相关能力。
多模态产品方面,团队正在考虑推出 5–12B 级别的小型开源图像模型,降低本地部署门槛,新一代混元视频模型也在推进中。

对AI说「下次注意」没用!马斯克麾下工程师:把纠错锁进代码
AI写代码速度远超人类审核极限,单月交付PR数量激增。Spa...(172 )人阅读时间:2026-11-22
关于混元 4 模型、算力、刷榜与 RSI,姚顺雨回应一切
混元团队在两小时内解答了300余条开发者提问,覆盖开源大模型...(116 )人阅读时间:2026-11-22
27B!穆拉蒂开源“循环脑”模型:笔记本跑Agent起飞!
前OpenAI CTO米拉·穆拉蒂创办的TML推出混合专家模...(102 )人阅读时间:2026-11-21
GPT-6.2 Astra再次暴击具身模型:16项任务成功率
机器人基础设施公司XDOF最新实测显示,OpenAI的GPT...(191 )人阅读时间:2026-11-21