字节讨论训超5万亿参数模型，张一鸣：不蒸馏、别被短期热点影响

《晚点》独家知晓, 字节跳动正就训练一个参数规模超越5万亿的模型展开探讨, 此模型规模超前于阿里的Qwen 3.8 - Max（2.4万亿参数）以及月之暗面的K3（2.8万亿参数）, 它处于国内当前已知参数规模最大的模型之列。一般来讲, 模型规模越大, 智能水平通常越高。然而该计划尚处在早期阶段, 这并不意味着模型最终必定会发布。

Seed所负责的新模型, 将由项亮来主导, 他会与大语言模型预训练数据的负责人沈科一块儿展开合作。鉴于此情况, Seed正在对组织予以重新梳理, 同时还要划分职责, 并且着手分配资源。

项亮是字节跳动人工智能及大模型研发体系里的核心骨干, 沈科同样是该体系内的核心骨干, 他们都出自字节的 “搜广推” 体系。项亮本科在中国科学技术大学毕业, 其博士阶段是在中科院自动化所就读, 他于2016年加入字节, 曾负责机器学习中台AML团队, 后来调任到豆包大模型团队担任负责人。沈科在2018年从清华毕业之后, 加入了字节跳动, 现在主要负责LLM预训练数据。

自字节进入大模型领域以来, Seed 始终被视作国内极具潜在可能性的团队之一。豆包如今拥有超越 2 亿日活跃用户的规模数量, 在极大的程度方面也要归功于 Seed。然而在今年, 质疑的声音开始浮现出来。

2月中旬, 吴永辉在执掌Seed后所推出的关键模型Seed 2.0而得以正式发布, 然而市场的反响终究是有限的。几乎恰恰是在同一时间, 智谱所开源的GLM - 5被市场视作国内第一个能与Opus系列相抗衡的这样的模型；到了7月, 月之暗面的Kimi K3已然发布, 多项第三方评测表明, 它已然快要逼近海外闭源旗舰了。

在上半年的时候, 有好多名字节方面的人士告知我们, Seed那儿有好些团队, 也都一直在持续进行反思。这, 就是字节针对讨论训练超5万亿参数模型的其中一个缘由, 与其在现有的那种规模大小上持续地去追赶, 倒不如把参数规模一下子推进到同行数量的好多倍, 从而去争取处于领先的位置。“就好似是一场赌博。”有一位跟Seed比较接近的人士这样讲道。

两周之前, 字节跳动的创始人张一鸣, 和Seed负责人吴永辉, 一道举行了一场Seed全员会, 也就是All Hands。过去很长时间没露面的张一鸣, 也表明了自己对seed的支持态度。我们通过独家渠道知晓了这些事情:

会上, 张一鸣安抚了Seed的成员, 他觉得训大模型本来就是件极难的事, 团队没必要过度焦虑, 他表明一段时间内可以接受模型落后于行业, 期望大家以追求智能上限作为目标, 期盼Seed模型能力能够跻身世界第一梯队。

他认同编程是当下重要且关键的方向, 因而要将火山引擎, 飞书以及豆包的各类资源整合汇聚起来, 唯有如此才能够构建出在算力与数据层面的优势。然而他也作出提醒, 编程仅仅是目前众多热点当中的一支, 不应当充分地被其左右, 除编程之外还具有更多规模显著的机会。

他进行了表扬, 觉得这个模型于市场当中是颇具特别之处的, 并且还具备领先的技术优势。相较于去追随其他处于领先地位模型的既存路线, 他更为鼓励Seed制作出拥有自身特色的模型。

张一鸣谈及自身对模型蒸馏持有看法, 他持反对态度, 觉蒸馏可以在短时期范围内对模型表象发挥改良效用, 然而究其实质依旧是于复制既存能力, 顺着此事的路径行进下去, 撑死也不过能够不停朝着对方贴近靠赶, 实际上是极为难于切实达成超乎超越进展推进, 且他对 Seed 也是满怀期望, 此期望是期望 Seed 能够从更为基础底层的程度维度方向去营建塑造属于自我本身在通用人工智能方面之上界限壁垒范畴。

此前的若干年当中, 字节朝着人工智能方向投放了诸多；往后, 将会投放更为众多。

过去半年的 Seed：多模态领先、大语言追赶

过去半年间, Seed的多模态模型收获了明显突出的成果, 今年2月上线的视频生成模型.0, 以及图片生成模型5.0 Lite, 其受关注程度在一段时间内超过了业内别的同类型模型, 从而很快地引发了人们的注意, .0成了火山引擎MaaS业务营收的基础支撑部分。

同期发布的语言模型Seed 2.0, 其在市场方面所引发的反响相对而言是较为有限的。它曾经由于能够较好地承接春节期间蜂拥而入的C端需求, 从而在内部得到了好评。然而在春节大战当中, 凭借Opus系列所具备的能力迅速将程序员以及B端市场开拓出来, ARR很快就逼近并且反超了其它。中国大厂在这种情况下才察觉到, 自己已然错失了相关的窗口期。与此同时, GLM - 5和Kimi K2.5所拥有的能力也已经显著领先了。

市场占比约达半数的国内最大模型API卖家火山引擎, 其模型能力的滞后对收入端造成了影响。火山引擎2025年的收入约为150亿元, 而今年内部设定的方针是超过400亿元。尽管目标宏大, 但并非不存在担忧。

用来反映商业化增长情况的是火山引擎的token消耗。多位告知我们的接近火山引擎的人士表示, 在豆包大模型的token消耗里, 超过一半源自两个多模态生成模型系列方面, 而于语言模型的占比之上并不高。

二季度起, 跟着短剧行业增长到顶, 以及经济大环境出现变化, token消耗和收入增速变慢, 影响了火山MaaS的整体token增长, 豆包大模型的token消耗, 3月是120万亿, 6月是180万亿, 比原计划的250万亿至300万亿目标低。

智谱依靠不断升华增长的, 本事, ARR突破了10亿美元, 月之暗面凭借依次递进提高的, 能耐, ARR企及了3亿美元。

就补课能力而言, 张一鸣亲自去邀请, 以高薪来吸引核心研究员郭达雅加入Seed, 让其负责模型能力方面的专项训练。字节把相关的研发资源进行收拢整合后, 统一划归给郭达雅。与此同时, 阿里千问基模团队也投入了更多的资源以及人力去专门攻克训练。

至关重要的并非训练好的模型, 而是数据。一些大公司能够借助促使内部业务线运用自研模型来开展开发, 进而构造出呈现真实场景情况的数据。然而, 仅仅拥有这些仍不充分。

我们知悉, Seed内部存在过针对蒸馏路线可行性异常热烈的谈论商讨过程, 字节方面居于高层位置的人员却惧怕担忧蒸馏给Seed以及技术招致的损害恶果, 依据The，张一鸣于Seed的全体员工所召开的会议之上清楚明确地加以表明宣称, 哪怕不进行蒸馏这一举动也就意味着会导致公司在技术层面暂时阶段性地呈现出落后于国内范围内的竞争对手的局面状况, 然而也依旧不会选用采用这一条看似便捷快速的途径办法来促使推动其AI模型所具备的本事能力向前发展推进提高。

8月6日, 字节跳动举办了涵盖公司全体人员的会议, 豆包负责人赵祺在此次会议当中表示, 大模型所具备的市场潜在力量非常巨大, 所以并不忧虑经济层面的回报的获取状况, 然而收入这件事情仍然是有着一定重要意义的。

先说在模型研发这个方面, 字节有着国内最为充足的算力储备, 还有业内处于领先地位的基础设施能力, 以及高密度的人才队伍, 这些都构成了它的底气。再说字节的成功, 这成功也让字节看到, 一旦模型能力处于领先状态, 那么就能迅速转化为商业护城河。

有字节方面专业人士表明, 的确, 可以证实, 使用产品之人往往会自然而然地朝着能力最为突出的产品流动。只要能够于关键的重要节点达成行业首位, 便具备快速争先占据市场的可能性, 所以并不需要对于短期内排名靠后这种情况过度地忧心忡忡。

继续大力出奇迹

字节从成立而后到现在始终推崇着 “大力出奇迹”, 是这样的: 当进入某一个领域之际, 一般而言会去成立并非仅仅一个的团队, 会投入数量众多的资源, 并且同时去推进数目不止一个的多个项目, 就是如此。

2012年, 字节跳动刚刚成立之际, 上架了13个应用, 最终内涵段子、今日头条赢得众多用户, 促使整个公司实现增长。2015年起始, 字节跳动相继推出20多个应用进军海外市场；2016年通过“火山”、“抖音”、“西瓜”三条路径同时开展短视频业务。最终, 字节跳动收获了今日头条之后的增长曲线——抖音。随后的游戏和教育业务也沿用了这种模式, 推出了数十款游戏和应用。

针对AI领域, 字节成为了投入最为坚决的公司, 其资本开支处于最大状况, 卡的数量也极具优势, 顶尖人才的招聘数量最多, 将所有业务方向都予以探索且不遗漏任何可能性。

2025 年, 对于视频生成领域的主流判断是, 沿着传统 DiT 架构（扩散式）继续去扩大预训练, 然而提升空间已然不大, 多数团队会将重心转向后训练。据我们所了解的情况, 快手可灵也曾经尝试去训练更大的模型。可是并没有做到极致。最终中途退了回去。

他们做了个与之相反的抉择, 居然还要额外投入资金与算力哩, 而且还下定决心要致力于将预训练工作推进到最为登峰造极的程度。嘿, 你要知道啊这家伙在历经了近乎一整年的优化历程之后, 那个具备版本号2.0的玩意儿, 摇身一变就成为了首个完完全全采用MoE架构的视频生成模型, 其参数可是高达2000亿之多。再者, 当它在2026年2月份正式上线之后, 瞬间就被众人一致公认为是全球范围内性能最为强悍的视频模型。

今日, 将大模型尺寸做大已成为行业所达成的共识, 7月时, 月之暗面发布了具备2.8万亿参数的Kimi K3, 此乃国内到目前为止最大的开源模型, 马斯克的xAI把Grok底座从5000亿参数扩充至1.5万亿, 并且宣称下一代要达成6万亿。某与也曾有消息传出要针对更大尺寸的模型展开训练, 在语言模型方面处于落后位置的字节, 想要凭借同样的方式冒一次险实现弯道超车。

这可不是一件轻松简单的事儿。视频模型整体所需要的资源数量并不多, 举例来说, 对于推理芯片的要求比较低, 而且研发人力方面也更为低廉，核心算法组成人员仅仅只有十余人。但更大参数的语言模型，除了涉及算法层面的创新之外, 团队还得去面对处理完全不一样量级的系统工程, 还有数量更多、种类更繁杂的数据, 还需要组织各个不同部门之间进行深度的配合。

然而, 变化已然开始出现, 字节的高层于Seed内部大力促使取消赛马机制, 将朝着同一方向的资源进行整合, 哪怕工作存在重合之处, 也竭力清晰地划分各自的职责, Seed也力图破除部门之间的壁垒, 使得不同部门的人员能够协同合作。

有一位曾经在Seed的人讲了这样一番话: “字节的文化或许不契合创新的要求, 然而在解题方面却有着很强的能力。” 第一道题已经成功解开了, 当下字节打算凭借同样的方式去解下一道题。