刚被索赔1.4万亿，Meta连夜开源30B小钢炮：扎克伯格点名DeepSeek、Qwen、Kimi

Meta最近的日子，冰火两重天。

一方面, 加州与科罗拉多、肯塔基以及新泽西这四个州的总检察长, 将索赔数字提升到了1.,4万亿美元, 这一数字几乎等同于Meta的1.48万亿总市值, 他们指控Meta蓄意把产品设计成会让青少年上瘾的样子去打造。另一方面, Meta Labs于8月10日忽然开源了Muse, 它是一个具有30B参数的Agent模型, 并且一开始就附上了最为宽松的2.0许可证。

这是Muse系列头一回进行开源, 在此期间, 这条线始终保持闭源状态, 仅仅通过API来运行。

Muse 是个什么模型

先把公开资料能确认的规格摆上桌。

训练Muse的是Meta Labs, 也就是由Scale AI创始人Wang所带领的那个实验室, 其官方定位十分清晰明确, 既非去做聊天机器人, 而是要做常驻于本地的Agent, 也就是那个-on local agent。

它在架构方面, 是一个有着30B规模的稠密多模态模型, 其中有27.9B的文本解码器, 还配备了一个1.9B的ViT视觉编码器以及GELU投影层, 文本部分采用52层结构, 运用分组查询注意力, 也就是32个Q头对应2个KV头, 另外还加上混合滑动窗口, 每三层会有2048窗口的局部注意力, 紧挨着夹着一层全序列注意力, 局部层使用RoPE, 全局层使用NoPE, 通过这样的方式将上下文拓展到128k以上。

具备许可资格的证件是2.0版本, 其涵盖商用、修改以及再分发等用途, 基本上不存在什么限制条件。相关权重已经在Face方面公开予以释放, 同时GGUF及其多种变体被一同放出。

落地速度也是快到超乎寻常地反常: 在发布当天的时候, llama.cpp、Face、0.32.7、LM, 全部的day - 0都予以支持, MLX、vLLM在随后的几天跟进来, AMD、Arm、Intel, 都是参与了设备端优化的。Meta此次明显是有着准备而来的。

30B怎么塞进24GB显卡

30B模型全精度需内存超过55GB, RTX 5090无法容纳, Meta采用了两种方法。

第一板斧为量化, 权重被压低至约4-bit, 语言模型本体缩小到20GB以内, 省出的显存留给KV cache、视觉编码器及投机解码的小模型, 整体处于24GB或32GB的包络之中。官方称, 压缩对Agent任务的性能几乎没有损害。

第二个被称作板斧的内容是投机解码, 这一部分是很值得去详细拆开来讲的。传统的解码方式是一个词接着一个词地往外蹦出, 在进行的每一步当中都需要将30B参数不折不扣地完整过一遍。配备了一个基于某种情况的轻量配置, 其数据流呈现成这样的状态:

先由小模型进行一大段的“瞎猜”操作之后, 主模型一次前向便会对整段进行验证, 猜对的情况便相当于白白获利, 猜错的情况则予以改正。生成的质量保持不变, 速度直接实现翻倍以上。经过实际测量得到以下数据, 在RTX 5090上解码时速度从74.9 tok/s提升至233 tok/s, 提速达到3.1倍；M5 Max的速度提升1.8倍达到50 tok/s, M4 Max提速1.5倍。而另一边情况更为突出, 在RTX 5090上NVFP4增加后, 单用户速度为236 tok/s, 批量吞吐更是冲到了1452 tok/s。

总之, Meta借助工程办法, 将一个大小处于60GB级别的模型, 硬是放入了24GB级别的设备里, 并且运行得足够迅速, 而本地Agent最担忧的便是思考五分钟才憋出一句话, 这个问题算是已迎刃而解。

打工人的素质，是蒸馏出来的

能力从哪来？答案是自家闭源旗舰。

其训练划分成三段, 第一阶段为预训练阶段, 此阶段是以Muse Spark的输出当作logit来讲行蒸馏, 中部训练阶段是延长上下文, 并且塞入更为密集的Agent数据, 最后的训练阶段是结合监督微调这一形式, 然后又有on - 这种方式, 以及强化学习。

提到叫作logit蒸馏的情况, 通俗来讲就是, 老师模型也就是Muse Spark, 不但要告知学生答案究竟是啥, 就连每个候选词的信心分布, 也会一步步细致地传授过去。这当中, 复杂推理链路以及Agent交互数据, 全部都是由这个巨大的东西生成出来的, 然后再注入到30B的小个体当中。

依据这套流程所打造出来的能力清单, 极具Agent倾向: 能够进行精确的工具调用, 具备多步推理能力, 在工具调用失败之后, 可自行展开诊断报错并重新尝试, 拥有读取截图以及图表的多模态输入功能, 支持100多种语言, 且还与这类编排框架相互兼容。

然而, 这里要给点不太乐观的情况说明一下。在官方给出的对比之中, 存在这样一份情况, 在MCP Atlas上获得了75.5分, 于此种状况下面, 这个分数超过了-31B所取得的54.2分以及Qwen3.6 - 27B所得到的62.5分；但是, 在-、2.1以及SWE - Bench上呈现出的状况却是, 实现反超的正好是Qwen3.6 - 27B。这也就意味着, 这样一个被形容为“小钢炮”的情况是, 在工具调用链路这个方面表现得很强, 可是, 当真正到了电脑操作以及终端写代码这种实打实比试的时候；同样尺寸规格的国产模型反而是处在它的前面了。

为什么偏偏现在开源

时间点选得很微妙，三条线拧在一起。

第一条文中关于“线是开源生态的攻守易形”表述不明, 无法准确改写。以下是对其他部分的改写: 扎克伯格与此同时发出了一封长达14页的长文《The is for 》, 为Meta的AI路线确定基调, 超级智能应当交到每一个人的手中，反对将其集中于少数公司, 并且明确地主张采用蒸馏训练, 呼吁美国放宽对开源AI的限制。他直接点出文匯、Qwen、Kimi是开源领域的领先者。去年春天Meta曾经一度收回开源步伐，现在相当于公开承认, 这块地盘被中国模型占据了, 必须抢回来。

第二条Muse系列的商业布局范畴是线, Muse Spark上个月才开始售卖API, 然而在编码、推理以及写作方面的公开榜单里, 其排位依然落后于相关与和的旗舰。Meta所采取的策略是进行价格方面的操作, 此情形跟、月之暗面、阿里运用宽松许可证开拓市场的方式极为相似。开源意味着将旗舰所提炼出的能力免费进行下放, 以此为API业务引来流量。Wang在同一天还预先告知, Muse Spark 1.2的开源权重版也即将推出。

第三条线, 乃是开头那场金额高达1.4万亿美元的官司, 四个州依据“每个受影响青少年用户乘以法定罚款上限”这样的算法得出这笔天价金额, Meta在法庭文件里予以反击称这是“博头条的数字”, 此在消费者保护执法史上绝无先例, 8月奥克兰即将开庭, 但彼时高举“开源”“隐私”“个人超级智能”的大旗, 叙事方面的收益明显能看出是, 合理进行推演的话, 的发布节奏, 很难讲与这场舆论战全然没有关联。

另有一个细节是值得去记下来的, 依据《纽约时报》所述, Meta内部正在开展一个有着更强大模型作为代号的项目, 关于这个模型是否开源并没有给出相关说法, 如此一来其定位是非常清晰明确的, 开源的是旗舰产品经过蒸馏之后所产生的产物, 而看家的本领依旧握在自己手中。

结语

让镜头进行拉远操作, 而真正具备趣味之处就在于, 它对一条产品路线予以了验证, 这条路线是, 云端旗舰承担将能力推至上线的任务, 本地小模型依靠蒸馏来进行承接, 随后借助量化以及投机解码这两种方式, 将其塞进消费级硬件当中。文件、日历、代码、聊天记录, 这些具有高频性且私密的工作, 早晚是要留在设备上运行的。

那场发布会之外的那层背景更为直白, 当扎克伯格要提名三家中国实验室用以证实开源的重要意义时, 开源大模型的核心所在之处, 已然无需过多阐释了。