贾扬清离开英伟达再创业！GLM-5.2速度飙6.3倍，一句话造的推理引擎

梦晨 发自 凹非寺

量子位 | 公众号

加入英伟达一年后，贾扬清再创业。

新公司 Lab，第一批亮出来的成果有三：

目前, 已知处于最快状态的GLM 5.2推理引擎, 一句话便可生成的数据库, 一套带有形式化验证的文件系统。

初看之时, 略微感到困惑。三个系统之间毫无关联, 其定位究竟是什么。商业模式又是什么样的, 这家公司到底从事什么业务。

事实上, 真正的那个产品, 是背后称作Fleet的生成引擎, 它号称是“自主团队且是首个把意图转变为生产级软件的”。

三个成果，都是出自同一套智能体系统。

距离6月贾扬清从英伟达离职的消息传出，刚过去一个月。

贾扬清离开英伟达再创业

把时间线回溯到2023年3月份, 贾扬清离开了阿里巴巴, 在同一年创办了AI。

当时创业者们多数一头扎进了“百模大战”之中, 而他呢, 却挑选了AI Infra, 采用云原生伴以多云整合这样的方式, 去调度全球范围之内的GPU资源, 进而给开发者予以算力租赁以及模型部署方面的服务。

在创始团队当中, 存在着ONNX的联合创始人, 这能够表述为开源老伙计再次相聚在一起。

到了2025年3月到4月，就是那笔著名的交易：

英伟达宣告会施行对AI的收购行为, 此次交易的具体金额大概是7亿美元数量等级, 换算成人民币大约与之相当的是48亿。

购英伟达是出于云业务之目的, 旨在于AWS之上构建自身的软件平台, 收购后, AI更名为DGX Cloud, 归入英伟达DGX Cloud体系。

然后……就没有然后了。

这是一家初创公司, 专门为开发者设计, 具有轻量级的特点, 具备敏捷特性, 其有着“原生、开箱即用”等 的一些比较鲜明有力的产品理念, 这些产品理念和英伟达那侧重于面向对大企业目标客户群的产品管理体系, 是特别封闭、不畅通、极为不同, 存在格格不入不相符的情况。

据消息称, DGX到2025年中期的时候, 基本上已经停止面向外部开展运营活动, 而此时距离完成收购仅仅过去了几个月时间, 就是这样的情况。

团队的资源, 被消耗在了UI调整这种表层工作之上, 然而多租户这般的核心技术问题, 一直都没能得到解决。

这个产品很遗憾没能满足它原本瞄准的那批AI原生开发者。

更扎心的是开源方面。

收购的时候, 英伟达曾做出承诺, 在2026年之前, 存在一个核心软件平台将被开源, 然而, 最终这个承诺又被否决了。

现在, 仓库方面, 唯有客户端SDK（ 库）以及命令行工具（CLI）存在, 而后端调度引擎与云平台管理系统, 仍旧维持着封闭的状态。

这里存在着核心冲突, 即核心调度器进行开源之时, 竞争对手同样能够借助它去高效管理非英伟达的 GPU, 而这正好与英伟达售卖硬件的商业模式发生直接冲突。

但贾扬清此人, 众人都有所知晓, 其整个职业生涯, 是奠基在Caffe、ONNX这一系列开源项目之上的。

总之，最终还是好聚好散了。

其中间还存在着一曲插曲, 在6月初的时候, Labs聘请 贾扬清擔任公司的顾问, 属于的这家公司的业务方向是云基础设施, 还有GPU, 也是多云编排以及GPU利用率提升标点符号。

这几个词和 AI最初的目标对比一下，几乎一个字都不用改。

大家还以为他只是换个地方重操旧业呢，结果只是一个支线。

下一步，做点不一样的：

我们将全部职业生涯运用在了全球最大的分布式系统以及AI基础设施之上, 始终皆为精心的架构设计, 一次仅打造一个系统。

但现在更感兴趣的，是一次能产出一千个系统的系统。

首批交出三份作业

叫的Lab, 将其产品命名为Fleet, 其定位是, 那是一个‘把作为意图的东西变为生产相关级别软件的享有自主权的团队’。

公开的第一批, 有三个结果, 官方所采用的说法是, 全部是经由Fleet端到端达成的, 不存在人工进行干预。

重点看GLM-5.2推理引擎。

最初存在特定的“意图”, 此“意图”仅包含一句话, 即对- LLM的代码予以重新改造, 使得GLM - 5.2能够在Grace节点之上运行, 该运行要求自身去识别可以实施优化操作的类别, 并且由自身来完成实现过程, 还要由自身进行验证。

LLM自身已然是经由英伟达多次重复细致打磨好了的项目, 于其上再度去苛求性能, 这意思就是在已经挤过牙膏的牙膏皮之上进一步挤压牙膏呀。

结果, Fleet交付了四种优化, 在两台Grace节点之上, 将输出速度由102/s提高到647/s, 提升幅度高达整6.3倍。

拆开看每一项都不是水分：

内核层面增加了百分之二十四, 其做法是, 加上由agent直接生成PTX和SASS, 绕过编译器, 直接获取指令级控制。

在运行的时候, 百分之十六被增加, 借助H2D 这一方式, 对于一个稳态步骤的host-to-元数据拷贝, 原本大约有十次这种情况会发生, 现在将其这一数量降低到了零 .。

在通信层面, 提升了18%, 利用一个融合的MNNVL all-, 将add纳入并使之折进集合通信之中, 每一层节省一次以及一整轮内存往返。

最后呈现的是, 经过投机解码的, 增长幅度达到百分之四百的数值, 它配合着经过优化处理的, 能够一次提出多个表征单元, 并进行一次性验证的方式。

Fleet运行这一套优化的流程仿若一整个开发团队, 先进行分析, 而后识别瓶颈, 接着、、, 要是验证未通过那就打回重新来过，一轮完毕再折返去寻找下一个瓶颈。

第二份作业是数据库。起点也是一行。

没有文档, 没有代码, fleet自行前进, 直至六百万条兼容性测试全部通过才停下, 在这个过程里, 自我担任了架构、编码、测试、评审、QA等所有角色。

第三份作业, 是关于文件系统的作业, 其目标在于, 达成“用基础设施的主体, 完成从人的形态, 转变成为agent这样一种转变”。

文件系统的复杂度是众人皆知的，在这个例子当中, fleet借助形式化验证捕捉到了一个由agent所写出的bug, 那是一种瞬态的损坏状态, 随后将其修复了。

模型能力不是限制，是中间缺一层

贾扬清对这件事的判断，写在他的官宣创业帖子里。

能够快速编写代码的模型已然存在, 然而，要从仅仅能够运行起来的代码, 转变为你心甘情愿放入生产环节之中, 而且打算长久持有相当长一段时间的那种软件, 其间依旧横亘着一段实实在在的距离。

他不认为这段距离是模型能力的限制，缺的是中间一层：

它把那种模糊的意图转化为真实的设计, 去检查结果能不能站得住脚, 就在系统得以运转起来之后促使其持续向前演进。整个过程全部依靠自主完成。

Lab 把这一层细化拆成了六个环节：

，把模糊意图收敛成明确产出和验收标准；

，权衡取舍、定接口定结构；

，拆任务、管依赖；

Build，阶段代码和架构同步演进；

，贯穿全程，从形式化证明到运行时故障注入；

，在生产环境里观察表现，把使用情况和成本折回设计。

这六个词得仔仔细细去瞧, 作为一个靠谱工程团队日常的呈现, 然而主语呢已从人转变成为智能体系统。

他还算了一笔经济账：

过去了50年 , 合理的做法是 , 去造一个软件 , 卖给尽可能多的人 , 哪怕这些人的需求 , 是各不相同的。

此事当前已能够转变了, 世界将会涌现出数量多出许多的软件, 其定制程度要高得多。

当下, Lab有着这样的计划, 那就是和外部展开合作, 特地针对那些系统, 什么样的系统呢, 是那种工程量极大, 且始终处于清单之上, 却一直没有人力能够去开展相关工作的系统。

拿Caffe来说, 一路走来, 直至AI, Lab, 贾扬清始终在做着同一件事的不同版本, 这件事就是: 让别人更为轻松便利地利用上算力！

参考链接：