普林斯顿大学人工智能实验室发布了一项名为“Same Space or Not (SSoN)”的空间智能基准测试。
人工智能是否真正掌握了三维世界的理解能力?规划后续动作、在杯子被移动后迅速调整、在环境发生变化前完成任务,这些动态任务对人工智能的空间认知提出了越来越高的要求。支撑这些能力的基础,是对眼前空间的可靠认知:物体位于何处,不同视角的观察结果能否相互吻合?
普林斯顿AI Lab的研究人员设计了一项新的空间智能测试:SSoN。这项测试排除了实时变化和动作控制,仅提供四张静态室内图像,要求模型找出其中不属于同一场景的那一张,并说明原因。
测试结果显示出显著的差距:在全部1000道题目中,人类的准确率达到了83.3%。在参与测试的六个视觉语言模型(VLM)中,表现最好的GPT-6 Astra Pro准确率为39.7%,其余五个模型的准确率均低于四选一随机猜测的25%基线水平。即便没有动态交互的复杂性,人机之间的差异已经出现在更基础的静态跨视角理解层面。
为何会低于25%?25%是等概率随机猜测的期望值,并非能力下限。SSoN特别构建了“看似变化、空间上正确”的强干扰视图。如果模型能够识别外观差异,但无法判断这种差异是否源于视角变化,就可能被系统性地误导,导致表现低于随机猜测。这并不意味着模型完全没有视觉能力,而是暴露了从识别差异到理解空间关系之间的鸿沟。
而39.7%的准确率,也只是选对答案的成绩,其中部分回答的理由仍然站不住脚。
为什么17个视觉编码器的表现全部低于随机基线?让模型实际执行三维重建,为何仍未能答对一半?这份测试将“空间智能的瓶颈究竟在哪里”层层拆解开来。
图1展示了SSoN任务及全部1000道题的成绩。人类答案准确率为83.3%,受测VLM的最高成绩为39.7%;柱状图进一步区分了有充分证据支持的正确选择与解释不成立的正确选择。
空间智能的集体偏科:交换和细节变化相对容易,旋转和移动却成为共同盲区。
SSoN的规则很简单:四张图片中,三张来自未改变的三维场景,一张来自经过编辑的版本。没有指定的“正确参考图”,也没有预先标出的异常物体。模型需要自行判断:哪些观察结果能够相互印证,哪一张无法与它们共存。
图中的篮球就是一个例子。图片B和D共同确认了它的位置;图片C没有拍到那个位置,但展示了其他视图未出现的物体,这些都可以由视角变化解释。而图片A拍到了篮球应在的位置,但篮球却消失了。关键在于空间关系是否自洽,仅凭“看起来不一样”很容易选错。
将成绩按题型分类,六种编辑类型大致呈现出三个难度层次,也勾勒出当前模型空间能力的短板所在。
交换和细节变化是模型的相对优势区域。两个物体交换位置,或同一物体的形状、颜色、纹理等外观发生变化,都能为判断提供物体对应关系和外观差异的线索。六个受测模型在这两类上的准确率均高于各自的整体成绩;表现最好的Astra Pro在这两类上的准确率均达到80%以上。
镜像和删除处于中间层级,但对多数模型来说仍然困难。镜像题需要判断房间结构是否真的左右翻转,排除相机位置变化造成的视觉差异;删除题则需要区分“物体真的消失了”和“只是被遮挡或移出了视野”。看不到,不等于不存在。在镜像题上,除Astra Pro外,其余五个模型的准确率全部低于25%的随机基线;在删除题上,这五个模型中表现最好的Sol Pro也仅为42.57%。
移动和旋转则暴露出更普遍的几何推理短板。六个模型在移动题上的最高准确率仅为27.20%;旋转题更低,最高仅为9.54%。而人类在这两类上的准确率均达到70%以上。在后续实验中,即使明确告知模型六种编辑类型的具体内容,也无法有效提升这两类的分数。
当椅子在画面中改变了位置和朝向,究竟是椅子移动了,还是相机移动了?当房间里有几把外观相同的椅子时,模型必须先识别出同一个实例,再结合桌子、墙面等参照物判断其位置与方向。识别物体、发现外观差异之后,模型还需要跨过“理解三维关系”这一关。
SSoN将这种考验扩展到七个室内场景来源,覆盖了交换、细节变化、镜像、删除、移动和旋转六类三维编辑。1000道题、4000张图像,使得总分背后的能力差异逐一显现:哪些变化模型已经较容易捕捉,哪些空间关系仍会让它们集体失分。
图2展示了七个场景来源、六类三维编辑,以及不同图像格式和物体尺度。视角变化可以制造视觉差异,而真实编辑也可能只留下局部线索。
换成17个视觉编码器,仍然全部低于随机线。
换一种方法呢?既然只有一张异常图,直接找出与其他三张最不相似的那张,是否就足够了?
研究者使用CLIP、ViT和DINOv2系列共17个视觉编码器测试了这个思路。基于图像特征相似度选择离群视图,准确率仅为16.9%至21.7%,全部低于25%的随机基线。
这个结果具体呈现了强干扰的作用:正确的新视角可能改变大片可见内容,而真实编辑却可能只留下局部线索。依赖全局外观差异的选择规则,无法可靠地区分两者。
VLM也会被这种表面差异带偏。在开发阶段的诊断实验中,合法但容易误导的视图吸引了更多错误选择;将其替换为清晰的正面参照后,多类题目的成绩明显改善。替换同时减少了干扰、增加了直接证据,也让困难的定位更加清晰:变化摆在眼前时能认出,并不保证换个视角仍能推理出来。
人可以暂时接受一个陌生视角,再核对其中与其他图有关联的物体。SSoN检验的,正是模型能否完成这一步跨视角的空间整合。
连选对的答案,也有近三成解释过不了关。
比低分更值得注意的是,有些正确选项,也未必对应正确的空间判断。
模型可能选对A,却声称一个根本没有变化的物体被移动了;也可能给出真实但不足以排除其他视图的线索。只看A、B、C、D,这些回答都会被计为正确。
SSoN因此同时检查答案与证据。True solve要求选择正确,并且解释符合图像事实、足以支持跨视角矛盾判断。六个模型合计1368次正确选择中,29.5%没有通过这项检查。最高模型成绩也从39.7%的答案准确率,降至34.9%的True solve。
接近三成的正确选择缺少有效支持,说明“选对了”仍不能替代“说清楚了为什么”。这一检查针对模型写出的解释,不推断其内部如何思考。
那么,会不会是题目本身太刁钻,根本没有足够证据?
SSoN在出题和阅卷两端都做了核验:构建时要求异常图及至少两张正常视图提供可用证据,排除多解题和明显渲染捷径;阅卷时,所有选对的模型回答都经过人工证据复核。超过10000个开发候选题的迭代,让人工发现的问题不断变成新的生成约束,最终留下这1000道题。
考卷需要有解,答案也需要有据。模型才能被要求真正指出场景中的矛盾。
图3展示了SSoN通过自动检查与逐题人工核验保证题目证据与唯一答案,并排查视觉捷径。解释评价另行覆盖全部正确选择,由人工确定最终标签。
提示、重建、相机参数,哪种帮助能救场?
既然困难出在跨视角推理,多教模型一点解题方法,或者让它真的重建一次三维场景,成绩会不会改观?
研究者另行选定100道题组成干预集,其原始答案准确率为24%、True solve为12%。接下来的比较都在这组固定题目内进行。
先看提示。研究者引导模型寻找环境参照、匹配物体、判断遮挡,或先描述场景布局;也直接告诉它六种可能的编辑类型,但不透露当前题目的类型。比较指导与编辑类别知识结合时,准确率达到48%,True solve为34%。提示能够提供帮助,却仍没让模型答对一半。
让模型实际执行三维重建,再检查相机视角呢?这个经过执行核验的完整流程得到47%的准确率、34%的True solve。删除和细节类表现较好,移动与旋转仍然困难。仅仅把三维重建加入解题过程,还不足以消除几何判断的短板。
最明显的改善,来自直接提供真实相机信息。
在比较指导的基础上,加入ground truth相机内参、外参和图像尺寸后,准确率达到61%,True solve达到48%。模型由此获得成像几何与相机相对位置、朝向的信息,不必完全从图像里自行推断这些关系。
移动类题目尤为突出:比较指导条件下,准确率和True solve均为20%;加入相机信息后,两项都升至70%。这提示,相机几何能够帮助模型区分“物体在画面里动了”和“物体在房间里动了”。
但61%与48%之间仍有距离。即使拿到真实相机参数,这100题中有充分证据支持的正确回答仍不到一半。提示、工具和几何信息能缓解困难,却没有让跨视角理解变得可靠。
空间智能能练出来吗?未见房间里的成绩接近翻倍。
如果推理时的帮助还不够,专门训练这种能力,会怎样?
研究者对Qwen2.5-VL-7B进行微调,并按关联房间和场景家族隔离train、val和test。模型最终面对的是来自未见房间的201道测试题。
未经微调,准确率为21.89%;只监督答案,提升到33.33%;同时提供推理依据和答案监督,达到41.79%。相较原始模型,准确率接近翻倍。
这里的区别,在于训练时是否告诉模型“证据为什么支持这个答案”。推理依据监督进一步提供变化类型、相关物体与支持视图,让模型学习把跨视角证据和最终选择联系起来;测试时仍需自行看图作答。
最突出的变化同样出现在旋转题。答案监督已经使旋转类准确率达到32.84%,加入推理依据后,旋转类准确率升至58.21%。更换四张图的选项顺序后,平均准确率和跨顺序一致答对比例也有所改善。
这给出了一条值得继续追的方向:空间一致性判断可以通过定向监督改善,并迁移到训练时没见过的房间。改善仍不均匀,推理依据带来的额外整体增益也需要更多训练重复验证,但这张考卷已经开始指出哪些能力可以被补上。
AI走进物理世界之前,先学会理解同一个世界。
SSoN提出的要求很朴素:相机移动了,场景可以没变;图像变了,空间关系仍可能一致。
动态空间智能需要将观察转化为规划、决策与行动,而可靠理解当前空间,是支撑这些行为的基础。SSoN把动作控制与实时变化拿开,让这块基础可以被单独检验:模型能否整合不同视角,接受合理的视觉差异,再找出真正的场景矛盾?
AI Vision Exam的这张考卷,用受控室内场景把这项能力单独拿出来检验。83.3%与39.7%的落差揭示了当前短板,提示、几何与训练实验则给出了继续追问的方向:我们究竟需要怎样的模型和监督,才能让AI在换个视角后,仍然理解同一个三维世界?
欢迎大家亲自试题,也欢迎带上你的模型,来参加这场空间智能考试。
作者信息 SSoN由普林斯顿大学AI Lab团队完成。第一作者Huizi Cao为卡尔顿学院本科生,曾以一作身份在Nature Medicine发表论文,团队还包括来自宾夕法尼亚大学、Adobe Research的研究者。项目由普林斯顿大学AI Lab的Shilong Liu教授、Mengdi Wang教授和西北大学的Manling Li教授合作指导完成。
本文来自微信公众号“机器之心”,36氪经授权发布。
评论互动精选