最强模型准确率仅39%！当Deep Search真正进入复杂的真实互联网

最后是反向构建问题（ ），直到这时问题才被写出来。研究团队将证据链的终点设置为参考答案，再将确定的中间实体转化为一组互相依赖的间接描述和约束。

例如题目不会直接给出某个博物馆展品的名称，而是要求先根据视频确定生物，再找到相应馆藏，并从指定展柜中识别目标化石。前一步的发现为后一步提供必要线索，各项约束逐步缩小候选范围，最终共同确定唯一答案

图 3：-World 中的一个例子。这个问题将视听识别、虚拟旅游导航、文档检查和跨多个网络来源的结构化数据检索联系起来。从初始视频出发，经过博物馆虚拟导览、播客、学术论文和结构化数据集等多个来源，最终确定 地质公园的唯一编号。

这样的设计让模型无法仅凭题目中某个直接给出的实体名称检索最终答案，而需要逐步确定中间对象之间的对应关系，在真实网络中展开搜索。

完成题目构建后，研究团队还组织了共 10 名独立审核者，对候选任务开展两方面的验证：

存在事实错误、证据不足、约束冲突或答案歧义的候选任务会被剔除，最终形成 200 道具有明确参考答案和可核验证据路径的任务。

从单道任务来看，在不计单独提供的起始视频的情况下，82.5% 的题目涉及至少两种信息模态，96.0% 涉及至少两种资源格式，95.5% 涉及至少两类访问操作。其中 67.0% 的任务涉及页面或内容跳转，60.0% 涉及资源传输，47.5% 需要时间定位，42.0% 涉及参数化状态更新。模型在同一项研究任务中，往往需要连续处理不同类型的信息与访问操作。

图 4：-World 的信息模态、资源格式与访问需求分布。不同类别可以在同一任务中重叠出现，统计不包含单独提供的起始视频。

人类花了多久？模型又答对多少？

为了了解从头找出答案的实际难度，团队组织了 50 名参与者进行独立求解。每人分配 20 道题，每道题由 5 人分别尝试，共得到 1,000 次作答。

参与者只能拿到原始视频和题目，不能使用 LLM 工具，只能使用常规浏览器与搜索，并且不能互相交流。对人类的测试不设置统一的单题时间上限，参与者在认为无法继续取得有效进展的时候，可以结束尝试。

这 1,000 次作答一共投入约 646 小时，最终只有 211 次作答得到正确答案。200 道题中，只有 115 道至少被一人解出，有 85 道在五次独立尝试中均未被解出；只有 29 道题被至少三人答对。

图 5：人类独立求解的成功情况、耗时和主观难度。中间一图统计每名参与者完成其分配的 20 道题所用的总时间。

研究团队据此划分任务难度：至少两人答对的 54 题为 Low，恰好一人答对的 61 题为 ，五人均未答对的 85 题为 High。并以此分层评价模型的答题能力。

对于模型的评价则使用统一的 ：16 个工具提供搜索（）、浏览器交互（GUI）以及视频与字幕读取能力（Other），这些工具支持网页点击、输入、滚动、截图、下载内容以及视频片段检查。所有 12 个模型使用相同的配置，自行选择信息源和操作顺序。

不同于人类作答不设时间上限，模型被最多允许 3,600 秒搜索时间、100 次工具调用。这两个预算任一耗尽后停止继续搜索。若尚未形成完整答案，系统则进入禁用工具的收尾阶段，让模型根据已有证据作答。作答完成后，Qwen3.8-27B 被用于对照参考答案，检查语义等价性与完整性，评测框架同时记录任务耗时以及 token 消

图 6：12 个参评模型的总体成绩及不同难度下的表现。括号内为答对题数，T 表示纯文本模型。

整体来看，12 个模型在 -World 上的表现仍有较大差距。GPT-6 Astra 以 39.0% 的准确率位居第一， Opus 5.5 和 3.8 Flash 分别以 38.0% 和 36.5% 紧随其后，其余模型的准确率则分布在 12.0%—33.5% 之间。

随着任务难度增加，模型的整体表现明显下降。12 个模型在 Low、 和 High 三个难度组上的平均准确率分别为 39.66%、23.50% 和 16.76%。不同模型的优势也有所变化：GPT-6 Astra 在低难度组领先，在中等难度组与 Opus 5.5 并列第一；而在五名人类参与者均未成功解答的高难度组中， 3.8 Flash 以 28.24% 的准确率取得最高成绩。

参考路径很短，实际搜索很长

有了成绩，接下来需要深入分析的问题是：这些任务具体难在什么地方？

正如我们开篇提到的，平均每道题人工标注并审核的来源条目只有 3.94，模型的一次搜索尝试却包含几十甚至接近一百次工具调用。哪怕只设计三条标注来源，工具调用的中位数也达到了 74 次。

事后回看，-World 的任务呈现出明显的长程决策（Long- -）特征。模型需要在初始视频中识别线索，通过反复搜索、跨页面导航、交互式访问以及多模态信息处理的方式，逐步找到并关联分散在真实网络中的证据。同一来源也可能需要多步操作：进入网站、找到入口、设置参数和读取结果，各自都占用工具调用。沿途还会出现不相关的候选来源、无法完成的操作，以及需要回头核实的线索。这样一来，即使最终只涉及少量关键来源，发现和获取这些证据也可能需要大量的探索与交互。

研究团队分析发现，执行长度并不随着证据链规模单调增加。包含 3、4、5 条以及至少 6 条标注来源的任务，工具调用的中位数分别为 74、56、72 和 82.5 次。参考证据链更长，并不意味着实际搜索就一定需要更多操作

图 7：不同证据链规模对应的工具调用分布，以及各模型的平均执行长度。虚线表示每题平均 3.94 条标注来源记录。

证据链的长度描述了答案由哪些材料支持，搜索轨迹则记录了 Agent 发现、访问和关联这些信息所经历的探索过程。-World 将两者结合起来分析，揭示了单纯依靠证据链长度或推理跳数难以充分衡量的执行复杂度，也凸显了长程规划、上下文管理和自适应工具使用在真实网络研究中的重要性。

时间和工具用在了哪里？

不同模型在相同环境下，展现了明显不同的搜索投入和工具使用策略。

GPT-6 Astra 平均每题调用工具 51.05 次，耗时 18.66 分钟，准确率为 39.0%；GPT-5.6 Sol 的调用次数与其接近，平均耗时仅 8.99 分钟，准确率为 28.0%。 3.8 Flash 的总 Token 消耗约为 GPT-6 Astra 的 5.22 倍，准确率为 36.5%。更多的工具调用、更长的执行时间和更高的 Token 消耗，并不一定带来更好的搜索表现。

模型之间的差异同样明显。GPT-5.6 Sol 最倾向于使用搜索工具，占其全部调用的 74.5%； Opus 5.5 和 Qwen3.8-Flash 则更依赖浏览器交互，GUI 调用占比分别为 51.5% 和 49.4%，两者准确率却呈现出 26 个百分点的差距。

图8. 不同模型工具使用分布

研究还发现模型的工具调用还呈现出明显的同类操作连续执行现象。例如， 3.8 Flash 的 → 转移比例达到 84.6%，Qwen3.8-Flash 的 GUI → GUI 转移比例则达到 85%。

图9. 不同模型相邻工具调用之间的类别转移

根据这些结果论文指出，工具使用频率和类别分布并不能充分解释模型的性能差异。在真实 Deep 中，有效协调搜索、网页交互与信息处理，并充分利用获取的证据，是影响任务表现的重要因素。

失败调用的影响

深入执行记录，团队发现了一项容易被次数掩盖的开销：工具失败。

各模型失败调用的占比为2.83% ~ 9.42%，对应的耗时却达到累计工具执行时间的19.27% ~ 61.90%。以 GPT-6 Astra 为例，6.34% 的调用失败，占用了 42.57% 的工具执行时间。

在这么一项不仅限制工具调用次数，还限制时间的任务里，即使调用失败的次数较少，高昂的时间损耗却直接挤占了后续探索的空间。如何减少无效操作、提高失败恢复效率，也就成为了值得关注的具体优化方向

图10. 模型的失败调用的频率与耗时，以及失败后的下一步选择。

论文还分析了模型在工具失败后的决策。直接切换工具是大多数模型最常见的选择。 Opus 5.5、 3.8 Flash 和 GPT-5.6 Sol 在失败后切换工具的比例分别约为 83%、81% 和 79%；Kimi K3 与 GLM 5.3 则有更高比例选择在同一工具上修改参数重试，分别约为 38% 和 37%。

搜索结束时，真的查清了吗？

对于 Deep Agent 来说，什么时候结束搜索，同样是一项重要决策。模型既需要在有限预算内完成研究，也要判断当前获取的信息是否足以回答问题。

-World 将模型提交完整、非空答案，且不再请求工具记为自然结束。GPT-6 Astra 在69.0%的任务中能够自然结束搜索阶段，但其最终准确率仅为39.0%模型能够主动结束搜索，并不等同于它已经获得了充分且正确的证据。

另一种情况是，模型持续操作，直到预算用完。Qwen3.8-Flash 有 80.0% 的任务因达到调用上限而终止，-V4.1-Flash 的这一比例为 60.5%；GLM-5.3 则有 41.0% 的任务仅触及时间上限，未抵达工具调用上限。不同模型面临的主要预算限制也存在明显差异。

即使是预算耗尽比例相对较低的 GPT-6 Astra 和 Opus 5.5，总体准确率仍低于 40%。

图11. 模型终止搜索的原因

-World 由此揭示了真实网络深度搜索中的两项核心挑战：如何在有限预算内完成搜索，以及如何在搜索结束时给出正确答案。除了提高执行效率，有效的信息源选择、证据整合和搜索停止决策，同样是提升 Agent 研究能力的重要方向。

下一步，从搜索经历中不断改进

一次深度搜索结束后，Agent 会留下完整的执行轨迹，包括工具调用、交互反馈、失败操作和资源消耗。这些来自真实网络环境的反馈，为改进 Agent 的搜索策略提供了具体的研究切入点。

正如论文在讨论部分中提出，-World 可以成为研究递归式自我改进（ Self-，RSI）的天然实验环境。

例如，面对反复失败的网页操作，Agent 能否从历史轨迹中识别问题，调整工具选择与恢复策略？面对复杂的长程搜索任务，它能否总结更有效的信息源发现和资源分配方法，在有限预算内取得更好的结果？

图12. 不同模型的工具调用预算耗尽情况、工具失败率及失败耗时占比，呈现了 Agent 执行策略中潜在的改进空间。

真实互联网中的搜索结果、网页结构和资源状态始终在变化。Agent 需要逐步形成能够适应不同信息源、访问机制和任务需求的研究策略，并通过新任务中的实际反馈检验其有效性。

-World 将真实开放网络中的复杂搜索任务、可验证的结果反馈和完整的执行轨迹结合起来，为研究 Agent 的搜索、交互与长程决策优化提供了基础。

当 Agent 已经能够独立开展复杂网络搜索，如何在一次次真实交互中积累，并将这些经验转化为应对新任务时更可靠的能力，或许正是下一阶段 AI Agent 需要跨越的重要门槛。