这项由南洋理工大学、山东大学、阿里巴巴达摩院和南边科技大学调和开展的盘考，以预印本花样发布于2026年5月，论文编号为arXiv:2605.07510，有兴致深入了解的读者可通过该编号查询完好意思论文。

**一个被疏远的简直场景**

假定你正在为一篇旅游攻略寻找信息。你看到一张像片，内部有一座特有的多塔尖建筑，你想知谈这座建筑在哪座城市，然后再查那座城市有莫得姐妹城市，终末还想望望那座姐妹城市的某个地标性建筑长什么样。这整个经过，你的眼睛和搜索框是轮流作事的——看一眼图片，搜一下笔墨，再看一张图片，再搜一段笔墨。这种"轮流"，恰是东谈主类信息查找的简直气象。

然则，现存的AI搜索系统在处理这种场景时却存在一个根人性的盲区：它们要么只会把图片看成"发问的来源"，要么只会把找到的图片看成"回话的非常"，从来不会把半途找到的图片看成"下一步该搜什么"的脚迹。这就像一个考查，他能看懂第一张现场像片，也能在终末亮出破案图片，但中间的侦查经过却全部靠猜，从不主动拿着脚迹去追查下一条脚迹。

这项调和盘考恰是为了填补这个空缺而伸开的，他们构建了一个名为**InterLV-Search**的测试基准，专门评估AI系统能否像简直的考查相通，让视觉笔据在整个搜索经过中捏续施展"迷惑下一步"的作用，而非只是充任来源或驱散的淆乱。

**一、现存AI搜索系统的"非常陷坑"**

设施悟这项盘考责罚的问题，需要先弄露馅现存系统卡在那儿。

早期的多模态搜索基准，举例MMSearch和FVQA-Test，其实是把图片看成"题目附件"来使用的。用户上传一张图，AI用笔墨去网上查府上，终末给出笔墨谜底。整个经过中，图片的变装只是触发搜索的滥觞，之后便退场了。这类系统责罚的问题其实是"我有一张图，我想知谈对于这张图的某个笔墨信息"，图片是起跑线，笔墨口角常线。

自后，盘考者们意志到这还不够，于是出现了更进一步的视觉浏览类基准，比如VisBrowse和BrowseComp-V?。这类系统要求AI不仅要搜笔墨，还要主动去找图片——它必须在网上定位到某张特定的图，然后通过不雅察那张图往还话问题。这照旧是很大的逾越了，AI终于学会了"主动找图"。

但问题在于，这些系统找到图片之后，那张图的作事就完满了。找到一张图，看一目光色大要数一数东谈主数，然后给出谜底——图片弥远是"终末一步"，是问卷上终末整个填空题，而不是引出下整个题的脚迹。

现实中的信息搜索碰劲不是这么的。更常见的情况是：你找到一张图，从这张图里辨别出一个东谈主、一个场合或一个标志，然后这个解析结果成为你下一次搜索的起点，于是再找一段笔墨，再找一张图，如斯轮回。图片在整个搜索链条中不口角常，而是一个又一个的"中转站"。

这种"中转站"式的视觉笔据使用方式，在已有的整个基准测试中都付之阙如。InterLV-Search的成立，恰是为了专门测量AI在这个维度上的能力。

**二、InterLV-Search：用三关卡联想模拟简直侦查**

整个基准被联想成三个难度递进的关卡，每一关都对应考查破案经过中的一个具体能力。

第一关叫作念"主动视觉笔据获取"。在这一关里，每谈题的问题是用纯笔墨形色的，但回话问题需要先找到一张图，然后从图里读出谜底。比如题目会说："有一位1966年出身、与某位历史上有名政事东谈主物同名的公世东谈主物，他深色领饰上绣着什么图案？"要回话这个问题，AI必须先根据笔墨形色猜出这个东谈主是谁，然后主动去找到这个东谈主的像片，终末仔细不雅察领饰上的图案。谜底不是"这个东谈主叫什么名字"，而是"领饰上有热气球图案"——这是一个必须简直看到图能力知谈的视觉细节。这一关锻真金不怕火的是AI能否从笔墨需求动身，主动把视觉笔据找追忆。

第二关叫作念"离线轮流多模态搜索"。这一关的题目更长、更复杂，谜底需要经过多轮"看图→搜笔墨→看图→搜笔墨"的轮流经过能力赢得。盘考团队使用的是一个受控的离线数据库，幸免简直集聚的不踏实性侵扰评测结果。比如题目会说："从那座以宽广湖面、小亭画舫和当代高楼共同组成标志性景不雅的城市动身，找到同国另一座以单体多层传统建筑为中枢景不雅的省会城市，那座城市与某个东南欧内陆河港城市结为姐妹城市，而阿谁河港城市又与某个南亚沿海大都市是姐妹城市，阿谁大都市里有一栋左侧带有很多拱形窗的闻名建筑，它的大圆顶是什么感情？"谜底是"红色"。要得到这个谜底，AI必须先搜笔墨认出第一座城市（杭州），再搜图认出第二座城市（武汉），再搜笔墨找到阿谁东欧口岸（加拉茨），再搜笔墨阐述南亚都市（孟买），终末再搜图不雅察那栋建筑的圆顶感情。整个经过，图片在中间充任了两次"定向箭头"，迷惑着接下来要搜什么。

第三关叫作念"灵通集聚轮流多模态搜索"。这一关和第二关锻真金不怕火的能力骨子疏导，但环境换成了简直的灵通集聚。简直集聚意味着搜索结果不踏实、页面内容随时变化、噪声信息远多于灵验信息。在这种条目下完成多轮轮流搜索，难度自然大幅栽培。此外，第三关还引入了一种非凡的"多分支"题型：题目不单好一条推理链，博亚体育中国一站式服务官网而是同期开启多条平脚迹迹，AI必须把每条脚迹都跑一遍，收罗并比拟各条清醒上的信息，然后根据比拟结果聘用无间深入哪条线。比如题目会要求AI先找到三部电影各自的时长，比拟之后保留时长居中的那部，再顺着这部电影的关系信息无间往下查。这不再是一条平直的侦查链，而是像简直案件中的多条嫌疑脚迹——你必须全部核查，然后根据笔据作念出聘用。

**三、数据是怎么制造出来的**

制造一个能测试上述能力的数据集，自己即是一件复杂的工程。

第一关和第二关的数据来自一个叫作念MMKG-W的维基百科多模态常识图谱，内部包含轻佻一万五千个实体，每个实体都有图片、笔墨形色和常识图谱关系。盘考团队用全自动的AI活水线来生成题目：先让一个大谈话模子为某个实体构造一个"不看图就无法回话的视觉细节问题"，再让它构造一个"不径直点名该实体的蒙胧笔墨形色"，终末把这两部分自然地拼合成整个完好意思的题目。生成之后还有严格的过滤花式，专门剔除那些谜底可以从笔墨形色里径直猜出来、大要题目里照旧不留神深刻了实体称呼的"舞弊题"。第二关在此基础上进一步引入了常识图谱的多跳旅途，让题目中的推理链横跨多个实体，并在其中某个节点插入"必须看图能力无间"的视觉中转站。

第三关的数据则需要东谈主机互助来完成。盘考团队让一个具备联网搜索能力的重大AI模子（GPT-5.4-Thinking）先行生成题目草稿，包括题目自己、参考谜底和完好意思的搜索推理链。然后由博士级别的东谈主类标注者审阅每整个题，查验推理链是否简直着实、视觉中转站是否充足要害、谜底来源是否踏实可查。如若发现问题，标注者会径直反馈给AI模子，要求它修改题目或重建推理链，如斯轮回直到质地达标。最终还要用多个强AI模子在不联网的情况下尝试径直回话这些题，只好那些"不搜索基本答不出来"的题才会被保留进最终数据集。

整个数据集共包含2061谈题：第一关975谈，第二关225谈，第三关861谈（其中340谈是多分支题型，占比约40%）。题目粉饰文娱、名东谈主、场合、组织机构、地舆标志、科技、旅游、艺术等多个边界，确保测试结果不会因为边界单一而失去代表性。

**四、测试器具：InterLV-Agent**

为了让不同的AI系统在疏导条目下给与测评，盘考团队还开荒了一套叫作念InterLV-Agent的法度化评测框架。这个框架的作事方式可以理解为给每个参赛AI配备了一套法度器具箱，器具箱里包括笔墨集聚搜索、图片搜索（用笔墨形色找图）、反向图片搜索（用一张图找相似的图）、网页浏览（读取网页笔墨内容）、网页截图浏览（把网页渲染成图片来看）、图片剪辑和代码践诺。对于第一关和第二关，器具箱里还有一套离线腹地检索器具，专门在那一万五千个实体组成的数据库里进行受控检索，使用的是阿里的Qwen3-VL多模态镶嵌模子。

除了器具除外，框架还为每个AI配备了一套轻量级的"两层记念"系统。短期记念径直保存最近几轮的器具调用和复返结果，而历久记念则是一个不停更新的精真金不怕火选录，纪录已知的要害实体、视觉脚迹沙门未责罚的子推断打算。这套记念系统的联想初志是让AI在漫长的多跳搜索经过中不至于"健无私方在找什么"——就像考查随身佩戴的案件条记本，自然不会纪录每一个细节，但总能辅导我方案件的中枢脚迹和现时进展。

每谈题的交互轮数也有明确死心：第一关最多3轮，第二关最多7轮，第三关最多10轮。每轮交互包括一次想考、一次或屡次器具调用和对应的结果不雅察。最终的谜底评判由GPT-5.4-mini担任裁判，允许同义词、一名和措辞各异，HG真人游戏官方网站只须语义等价就判为正确。

**五、实验结果：莫得哪个AI系统阐扬令东谈主安逸**

盘考团队测试了五个生意闭源模子（GPT-5.4、GPT-5、Gemini-3.1-Pro、Claude-Sonnet-4.6、Qwen3.6-Plus）和三个开源的搜索专用模子（MMSearch-R1-7B、VDR-8B、SenseNova-MARS-32B），整个模子都在疏导的InterLV-Agent框架下运行。

最中枢的发现是：即使是阐扬最好的模子，举座准确率也莫得高出50%。阐扬最好的Gemini-3.1-Pro在三关悉数的器具缓助下达到了46.05%（第一关）、41.33%（第二关）和46.46%（第三关）的收获，但距离"责罚了这个问题"还有相当长的距离。

不使用任何器具、纯靠模子已有常识径直作答的情况下，整个模子在第三关的阐扬都目不忍视，最好的也只好20%驾驭，充分诠释了这批题目照实不可靠死记硬背蒙混过关，必须简直去搜索才行。

使用器具之后，生意模子的阐扬均有昭彰栽培，尤其是在第二关和第三关，栽培幅度可达10到30个百分点。这说明器具照实灵验，但不同模子使用器具的效果各异很大，反馈出各幽静搜索推断打算、视觉定位和多模态笔据整合上的能力上下不同。

开源搜索专用模子的情况则令东谈主不测：加上器具之后，它们的阐扬不仅莫得权贵栽培，有的致使比无须器具时还要差。这揭示出一个进攻现实——为笔墨搜索专门优化的开源模子，在面对需要反复切换视觉和笔墨的轮流搜索任务时，反而因为乱用器具而走了弯路，搜索推断打算能力的缺失比器具自己的死心更致命。

多分支题型和单链题型之间的差距也相当权贵。在第三关，整个模子在单链题上的准确率都昭彰高于多分支题，说明当搜索旅途不再是一条直线、而是需要同期珍摄多条平脚迹迹时，现时AI系统的协调能力昭彰不及。

**六、深入剖解：问题究竟出在那儿**

为了更缜密地定位失败原因，盘考团队对第一关和第二关的结果作念了进一步拆解分析。他们分手了两种情况：AI最终找到了正确的推断打算图片，以及AI莫得找到正确的推断打算图片，然后分别统计这两种情况下最终答题的正确率。

结果至极露馅。当AI得胜找到了推断打算图遽然，最终答对的概率大幅栽培——Gemini在第一关找到推断打算图时的答对率高达59.51%，在第二关更是达到73.75%。而莫得找到推断打算图时，答对率只好23%到34%驾驭。这意味着：只须能找到正确的图，AI其实相当擅长从图片里读出正确谜底；简直的瓶颈在于能否在茫茫图海中找到那张正确的图，尤其是第二关，推断打算图片检索调回率只好35%驾驭，这才是整个系统最薄弱的花式。

器具使用习尚的分析也揭示了意思意思的规则。在第二关（离线环境）里，AI的器具调用被图片关系操作东导——Gemini有68.3%的器具调用都是图片搜索类操作，这与第二关的联想意图高度吻合，说明模子照实理解了这谈题需要找图。而在第三关（灵通集聚），笔墨集聚搜索占据了大头（60%以上），图片操作的比例有所着落但仍占17%驾驭，说明第三关并莫得退化成纯笔墨的网页浏览游戏，视觉搜索依然是不可枯竭的一环。

盘考团队还专门分析了AI的现实践诺旅途，查验那些搜索轨迹中是否简直出现了"用视觉笔据迷惑下一步搜索"的活动。在第二关，Gemini有88.9%的践诺旅途包含了视觉中转站，Claude达到80%，GPT-5.4也有74.9%。这诠释InterLV-Search照实得胜地测到了它想测的能力，而不单是是在锻真金不怕火时常的笔墨搜索技术。

去掉图片搜索器具之后会发生什么？在第二关，去掉图片搜索的结果接近致使低于都备无须器具径直回话的水平，说明图片搜索对于第二关而言险些是不可或缺的。在第三关，去掉图片搜索的影响稍小，因为简直集聚提供了更丰富的笔墨脚迹作为补充，但依然形成了一致性的收获下滑。记念系统的进攻性在第三关体现得比第二关更昭彰，这与直观相符：第三关的搜索链更长、分支更多、噪声更大，更需要一个可靠的"案件条记本"来保管搜索气象的连贯性。

**七、从失败案例中看懂中枢难题**

论文终末提供的得胜与失败案例，把上述发现讲得愈加具体纯真。

一个得胜的三分支案例是这么运作的：题目要求AI找到三部电影各自的官方节日页面，比拟它们的时长，保留时长居中的那部，然后无间深入那部电影的推断打算图，回话推断打算图里某个自然风景的问题。AI的处理经过是先对三个视觉形色各自进行图片搜索，定位到三部候选电影（Nox、Krakatoa、My Semba），然后切换到笔墨搜索获取时长数据（分别是64分钟、79分钟和93分钟），比拟之后选用中间值79分钟对应的Krakatoa，终末回到图片搜索找到Krakatoa的推断打算图，通过视觉不雅察回话"标题笔墨背面腾飞的是什么自然风景"——谜底是火山喷发。这个得胜案例的要害在于，AI在整个经过中捏续地把图片和笔墨轮流使用，况且每一次切换都有明确的见地和依据。

一个典型的失败案例则相背：题目要求AI分别找到Tate好意思术馆的毕加索关系页面和柏林电影节的新泻关系页面，从这两个页面动身干预各自的"腹地标志系统"，比拟两者的数目，沿着数目较小的那条脚迹无间，最终回话对应旗号边框左半部分是什么感情。AI作念了巨额的笔墨搜索，也得胜找到了两个页面，但它从来莫得简直把这两个页面与各自对应的腹地标志系统（马拉加的徽章和新泻的官方标志系统）建设视觉集会，更莫得去统计和比拟数目。到终末，它只可靠猜给了一个蓝色的谜底，而正确谜底是紫色。失败的根源不是搜索不够致力，而是它把图片搜索当成了可选项，没特意志到视觉笔据在这谈题里是不可绕过的必经花式。

另一个单链失败案例更能说明问题：题目里提到一个对于双层巴士的旅游页面，但这些巴士只是名义，要害在于巴士车身上借用了某个"看护者形象"的视觉身份。AI需要先用图片搜索看露馅巴士车身上画的是什么，然后以这个视觉脚迹为跳板，找到对应的城市所在州，再查阿谁州的官方旗号，终末回话旗号上对角条带的感情（谜底是白色）。但AI都备莫得主动去查验巴士的视觉外不雅，一直在用笔墨查询各式时常的要害词，最终答了"红色"——它把旗号举座的红色布景和那条对角白色条带污染了。问题出在起初就莫得把视觉脚迹看成搜索的起点，而是一头扎进了笔墨宇宙里打转。

**说到底，这项盘考告诉咱们什么**

归根结底，InterLV-Search揭示了一个现在整个AI搜索系统都面对的共同窘境：它们在使用视觉笔据时，要么只会用图作为滥觞，要么只会用图作为非常，简直能把图片看成搜索链条中反复出现的"路标"的系统，现在还险些不存在。

最好的生意模子在这套测试中的举座准确率不到50%，这个数字说明现时的AI离"像东谈主相通自然地轮流使用视觉和笔墨来查找信息"还有相当大的差距。而开源搜索专用模子的阐扬致使更令东谈主担忧——它们在加上器具之后反而可能阐扬更差，说明问题不单是器具有莫得，更是有了器具之后懂不懂得用、会不会在恰当的时机切换到视觉搜索模式。

这对时常东谈主意味着什么？你每天在网上查信息时感到的那种"AI不够智能"的挫败感，很可能恰好来源于这个盲区。当你上传一张图问AI"这张图里这个东西叫什么名字，然后告诉我这个东西的制造商是谁，再告诉我那家制造商CEO的外貌特征"时，AI在第一步可能还可以，但从第二步开动，视觉脚迹和笔墨推理的无缝相连频频就会断掉。

这项盘考通过构建一套系统性的测评器具，让这个问题变得可测量、可跟踪、可篡改。某种意思意思上，它作念的事情即是给AI搜索能力的缺陷画了一张精准的舆图，让后续的盘考者知谈应该把力气花在那儿。至于AI什么时候能简直作念到像东谈主相通畅通地在视觉和笔墨之间往还穿行，这谈题的谜底还需要期间来揭晓。数据集和评测代码照旧开源，任何有兴致的盘考团队都可以在此基础上无间探索。

---

Q&A

Q1：InterLV-Search测试基准和时常的多模态搜索测试有什么骨子区别？

A：时常的多模态搜索测试经常只温情两种模式：要么把图片作为问题的滥觞，然后靠笔墨搜索得出谜底；要么要求AI主动找到某张图，用那张图回话一个局部视觉问题。InterLV-Search的骨子区别在于，它要求图片在整个搜索经过中反复出现，每一张半途找到的图都要成为"下一步该搜什么"的依据，而不是搜索链条的非常。浅显说，即是从"图→笔墨→谜底"或"笔墨→图→谜底"，升级为"笔墨→图→笔墨→图→笔墨→图→谜底"的反复轮流模式。

Q2：为什么开源搜索专用模子加上器具反而阐扬变差？

A：这是因为这些开源模子是针对笔墨搜索任务专门陶冶的，它们的搜索推断打算计策自然倾向于反复调用笔墨查询器具。迎面对需要在特定时机切换到图片搜索的轮流任务时，这些模子不知谈什么时候该罢手笔墨搜索、转而发起视觉检索，于是器具调用变成了无效致使无益的活动，浪费了精致的交互轮数却莫得找到要害的视觉笔据。根底问题不是器具自己有劣势，而是模子艰难"什么时候该看图、什么时候该搜笔墨"的判断能力。

Q3：InterLV-Search的多分支题型在测试中体现了什么非凡难点？

A：多分支题型要求AI同期珍摄多条平行推理链，分别沿每条链征集笔据HG官网(HoGaming)，再根据比拟结果选用其中一条无间深入。这对AI的搜索气象料理建议了远超单链题的要求——它必须记取我高洁在同期跑几条线、每条线上照旧找到了什么、哪条线还缺什么信息，最终还要在多条线的结果之间作念出有依据的比拟聘用。实验数据自大，整个测试模子在多分支题上的准确率都权贵低于单链题，说明当搜索旅途不再是一条直线时，现时AI系统的多任务协调能力昭彰不及。