你有没有想过这样一个问题：如果一个医生手里同时拿着一份病历报告和一张X光片，他真的会去仔细看那张片子吗，还是说,他扫一眼报告上写的结论,就直接照着报告下判断了？
这听起来像是个哲学问题，但对于现在越来越多用在医院里的AI系统来说,这是一个能被精确测量的技术问题。而测量的结果,可能会让你有点意外。
**当AI手里有一份现成的答案，它到底还会不会去看图？**
这就是MIT Critical Data团队这篇论文想要回答的核心问题。他们给这类系统起了个名字，叫ModaLens，直译过来大概是"模态透镜"，用来观察AI系统在多种信息来源之间,到底更相信哪一个。
医学影像语言模型：指能够同时接收图片和文字输入，并用自然语言回答问题的AI系统，比如你给它一张胸片和一段放射科报告，它能回答"这张片子上有没有肺炎"这类问题。
这个问题为什么重要，得先从一个尴尬的事实说起。放射科报告本身,往往已经把答案写清楚了。报告里可能写着"未见明显异常"，也可能写着"右下肺可见片状阴影，考虑肺炎"。如果你问AI"这张片子上有没有肺炎"，AI完全可以不看图，直接把报告里的结论抄一遍,就能拿到很高的准确率。
这不是AI在偷懒，这是一种非常经济的策略，前提是报告永远正确。但报告不总是对的。它可能描述的是几天前的另一次检查，病情可能已经好转或恶化;它可能被写错了;它甚至可能压根就没提到你问的那个具体征象。如果AI在这些情况下依然选择闭着眼睛抄报告，那它就成了一个复述机器，而不是一个真正在"看片子"的诊断系统。
这就好比你去问一个保安"三楼有没有人"，保安手里有一份三天前的访客登记表，表上写着"三楼无人"。如果保安直接照登记表回答，而根本不愿意抬头看一眼监控屏幕,万一三楼这三天里进过人呢?保安的答案永远只是在复述那张纸,而不是在做他真正该做的事:观察现场。如果保安从来不看监控,那监控这套系统装了也是白装,钱花了却没起作用。
MedGemma：谷歌开发的一款医疗领域专用视觉语言模型，这次实验的主角是它的270亿参数版本，专门在医学影像和文本上做过训练。
研究团队想出的检验方法非常巧妙,他们把每一个病例都"演"了两遍。第一遍是正常情况，用病人自己的那张X光片，配上属于这张片子的真实报告，去问AI各种问题。第二遍呢，把X光片悄悄换成另一张（通常是同一个病人另一次检查的片子），但报告和问题原封不动。
如果AI真的在看图，换了张不一样的片子，它的回答应该会跟着变。如果AI根本没在看图，只是在读报告的文字，那不管换成哪张片子，它的答案都应该纹丝不动。
**这个方法测出来的核心数字是：有报告在手时，换图片只让4.26%的答案发生变化；没有报告时，这个数字跳到了20.94%。**
差了整整16.7个百分点。这意味着,当AI手里有一份现成的文字报告，它对图像的敏感程度直接掉到了原来的五分之一左右。换句话说，报告一出现，AI看图的欲望和能力都被大幅压制了。
报告像一份"剧透"，AI很难不被剧透影响
要理解这个实验设计的精妙之处，得先弄清楚研究者为什么要用"换图不换文字"这种方式，而不是干脆去问AI"你到底看没看图"。
答案很简单，因为AI自己也不知道，或者说,它给出的自我陈述不可信。神经网络内部到底是怎么处理信息的，连研究人员自己都要靠各种间接手段去猜测。所以最靠得住的办法，就是做一次"控制变量"的实验：只改变一个东西（图片），其他所有东西（文字、问题）都锁死，然后看输出会不会变。这是最朴素也最有说服力的科学实验逻辑。
数据来源是MIMIC-CXR，这是一个公开的胸片数据库，每张片子都配有放射科医生写的真实报告。
MIMIC-CXR：麻省理工学院和贝斯以色列女执事医疗中心联合发布的一个大型胸部X光片数据库，包含了大量真实病例的影像和对应的诊断报告，是医学AI研究里最常用的公开数据集之一。
研究团队从293名病人身上抽取了3199个病例，每个病例问14个问题，13个是针对具体病症的（比如"这张片子有没有肺炎""有没有气胸"），第1个是综合性的问题（"有没有任何急性心肺异常"）。这样一共产生了44786次独立的问答记录，一个相当扎实的样本量。
替换图片的时候也有讲究，不是随便拿一张不相关的片子就往上凑。研究团队优先用同一个病人另一次检查的片子（占比高达99.4%），并且尽量挑那些诊断结论跟原片子不一样的（比如原片子说没肺炎,换上去的片子说有肺炎），这样才能真正检验AI是不是在跟着图像变化调整答案。
CheXpert标签：一套从放射科报告文本里自动提取诊断结论的规则系统，能把"心脏增大""胸腔积液"这类14种常见病症自动标注为"有""没有"或者"不确定"。
这里有个值得展开说的细节。这14种诊断标签,是从报告文字里"读"出来的，不是医生真的去看图打的标签。这意味着这个实验测的其实是"AI的答案跟着报告文字走，还是跟着图像走"，而不是"AI诊断得对不对"。这个限制,论文作者自己也反复强调，报告可能是错的，但只要AI在报告和图像冲突时选择相信报告，这件事本身就已经被抓到了,不管报告是不是真的对。
再换个角度想这个问题。假设你是一个刚入职的实习医生，主任医师递给你一份写好的诊断意见,让你去核实。如果主任写的诊断永远是对的，你复述一遍完全没问题，效率还高。但万一某次主任记录的是错误病人的片子,或者诊断本身就有疏漏,而你从来不核对片子本身,只是机械地照抄意见书，那你这个"核实"的动作其实是假的，只是在走流程。研究者要测的，就是AI有没有在"走流程"。
从18个百分点到72个不同角度的反复验证
科学研究里最怕的就是一个漂亮的数字只是偶然，或者只在某个特定条件下才成立。这篇论文做得比较扎实的地方，是它没有满足于这一个16.7个百分点的核心发现，而是从几十个不同角度反复捶打这个结论，看它到底能不能站得住。
先看读取答案的方式会不会影响结论。研究团队用了三种不同的方法去判断AI最终给出的是"是"还是"不是"：一种是看模型生成的第一个词的概率，一种是把大小写不同的"是/不是"变体全部加总起来算概率，还有一种是直接看模型生成的完整文字答案。这三种方法测出来的报告效应分别是16.1、16.7和16.7个百分点，几乎完全一致。
这一步的意义在于排除一种可能性：万一这个16.7个百分点的差距,只是因为某种读取方式的"手法"碰巧放大了差异,而不是模型本身真的存在这种行为？三种方法都测出差不多的数字，说明这不是读取方式的假象，是模型本身真实存在的行为模式。
接着团队换了模型规模，用了参数更小的MedGemma-4B（27亿参数的四分之一左右），结果这个更小的模型报告效应反而更大，差了15.85个百分点，比27B版本还多了3个百分点。这说明这个现象不是因为模型太大而变得"偷懒"，缩小规模并没有让AI更认真看图，反而更依赖文字了。
再往下,团队换了完全不同的模型家族。除了Google自家的MedGemma系列，还测试了Qwen3.5的90亿和270亿参数版本，以及基于Mistral-7B的LLaVA-NeXT模型。结果是，在这三个跟MedGemma完全不同技术路线的模型上，报告效应分别是13.3、19.6和12.75个百分点，方向完全一致,幅度还都不小。
**这说明"报告一来,就不认真看图"这个行为，不是某一家公司某个模型的个别毛病，而是当前这类医学视觉语言模型的一种共性倾向。**
这个规律的普适性，让人不禁想起另一个类似的现象。心理学里有个经典发现，叫"锚定效应"，说的是人在做判断时，会不自觉地被最先接触到的一个数字或信息"锚定"，即便这个锚点信息本身是随意给出的，后续判断也会被它牢牢拉住。AI在这里表现出的模式，跟人类的锚定效应有种诡异的相似,报告文字就是那个"锚"，一旦抛下去，图像信息想要把判断拉回来，就变得异常困难。
试着提醒AI"报告可能是旧的、可能是错的"，结果依然没变
研究团队没有止步于发现问题，还试着去"纠正"这个行为，看能不能通过一些简单的提示词干预，让AI重新重视起图像。
第一种尝试是明确告诉AI，这份报告可能描述的是一次更早的检查，现在请你结合当前的图像来综合判断。这属于一种"历史context"式的提醒。
结果是，图像敏感度只从原来的1.22%涨到了1.72%，涨幅只有0.5个百分点左右，完全没有恢复到没有报告时那种20%左右的敏感水平。
第二种尝试更直接，干脆明确警告AI，说这份报告可能根本不描述这张图片，可能是错的，请务必以图像为准，报告只是参考信息。
这次的效果更让人意外,几乎没有任何变化，跟不警告时的1.22%相比，警告后是1.50%，统计上根本看不出差异。
这个结果值得停下来想一想。如果单纯用语言提示就能唤醒AI对图像的关注，那这个问题的解决方案就太简单了，写一句提示词就行。但事实并非如此，说明这种"重文字轻图像"的倾向,可能已经深深嵌入在模型训练时学到的模式里，不是靠一句临时的口头警告就能撬动的。
这就好比你叫一个已经开车走了十几年老路线的司机说："这条路今天封了，走另一条。"司机嘴上答应了，方向盘却还是习惯性地往老路那边打。不是他不想改，是那条路线走得太熟,身体的反应比脑子的决定快。AI在这里表现出的，也有点像这种"肌肉记忆"式的顽固,提示词能改变它嘴上说的规则，但改不动它内部真正在依赖的那套信息处理路径。
打开AI的"脑子"，看报告信息到底藏在哪一层
如果说前面的实验都是在从外部观察AI的行为，那么论文后半部分做的事情，是想办法真的钻进模型内部，看看这个"重文字轻图像"的现象，具体发生在神经网络的哪个环节。
MedGemma-27B这个模型内部有62层解码器（可以理解成62道信息加工的工序，输入进去之后要经过62道加工才能产出最终答案）。
研究团队试了好几种"打开黑箱"的手段。
第一种叫logit lens（逻辑透镜），简单说就是在每一道加工工序完成后，都提前"偷看"一眼当前的中间结果,看看这时候模型倾向于回答"是"还是"不是"。
结果发现，这个偷看的结果在前45道工序里几乎没有意义，要等到第46层（总共62层）之后,这个中间读数才真正开始和模型最终给出的答案对得上号。也就是说，前面三分之二的加工过程里，你根本没法通过"偷看"知道AI在想什么，它的"想法"是在很晚期才逐渐成型的。
这个发现本身也挺有意思,它说明神经网络处理信息的方式,和人类直觉里"一步步逐渐形成判断"的过程并不完全一致。更像是,前面几十层都在做一些底层的特征处理和信息搬运,真正的"决策"是在临近终点才骤然发生的。
第二种手段更直接,叫注意力阻断实验。简单理解就是,强行切断模型某一层里"看报告文字"这条通路，看看这样做之后,模型对图像的敏感度会不会恢复。
这个实验测出来一个很清晰的信号：如果从第0层到第20层（也就是很靠前的加工阶段）就开始阻断模型读取报告信息的能力，图像敏感度确实会从1.5%涨到7.75%，明显往没有报告时的12%方向靠近。但如果阻断发生在第28层之后（比较靠后的阶段），效果几乎为零。
这就好比信息在往前传递的路上，被复印了很多份，分散存放在不同的地方。如果你在信息刚进门的时候就把它拦下来，后面的部分自然就拿不到这份信息了。但如果你等信息已经被复印、分发到各个角落之后才想拦截,那时候拦哪一个角落都没用，因为别的角落早就存好了副本。这也是为什么单独阻断某一层永远达不到2.5%以上的效果,信息不是集中存在一个地方的，是分散冗余存储的，这在生物神经系统里也是常见的容错机制。
这个发现划出了一条边界，报告信息对模型判断的"直接接入点"，主要发生在网络比较靠前的层数（大致在第0到第20层区间），一旦信息流过了这个窗口，它就已经被吸收、转化、分散存储到别处，再想单点拦截就很难奏效了。
数字背后：哪些病症最容易被"报告绑架"
如果只看整体的16.7个百分点，会漏掉一个很重要的细节：这个效应在不同病症上的表现，其实非常不均匀。
论文里专门做了拆解。没有报告的时候，14个问题里有5个问题的敏感度低到4.1%以下，比如"肺不张"和"支持性医疗设备"（比如导管、起搏器这类可以在片子上看到的医疗器械），AI几乎每次都回答"是"，回答率高达97.8%到100%。这不是因为AI在这些问题上特别自信地看懂了图像,而是因为这两类征象在整个数据集里出现的比例本来就很高，AI学会了"蒙"这个答案。
而另外9个问题，没了报告之后的敏感度反而冲到了16.8%到32.0%之间,比如"胸腔积液"这个问题，报告在场时图像变化只带来0.86的分数波动，报告消失后波动飙升到3.96，几乎翻了4倍多。
这说明整体那个16.7个百分点的平均数，掩盖了病症之间巨大的差异,这不是一个均匀发生的效应，而是集中在少数几个病症类别上表现得特别明显。
从对照实验到追问因果:报告里到底是哪部分内容在起作用
论文里还做了一组挺细致的文本控制实验，想搞清楚报告里到底是哪部分内容，真正压制了图像敏感度。
他们试了把报告换成同样长度的中性文字、临床套话，甚至直接删掉提到目标病症的那句话。结果是,同样长度的中性文字带来的图像敏感度是8.2%，临床套话是7.1%，删掉目标句子之后反而涨到11.6%，这些都比完整报告的1.4%高不少，但又都明显低于完全没有报告时的10.3%。
如果放一句直接说出正确答案的话，图像敏感度会降到3.1%,如果放一句故意说反答案的话，AI跟着图像走的比例会降到4.3%,更倾向于跟着这句假答案走。
这组实验拼出的图景是：报告里那些明确给出诊断结论的句子，是压制图像敏感度的主要力量,但它的作用不能被完全孤立出来，因为换成任何一段有意义、有上下文的文字，都会带来一定程度的压制效应，只是程度不同。
写在后面
读完这篇论文最触动我的一点,其实不是那个16.7个百分点的核心数字，而是那两次警告实验的失败。
研究者明确告诉AI"这份报告可能过时了，可能是错的，请以图像为准"，结果图像敏感度几乎没动。这说明这种行为模式已经不是一个可以靠提示词轻易调整的表层习惯，它更像是刻在训练过程里的一种深层偏好。这让我想到，我们现在给AI系统加各种安全提示、免责声明、"请谨慎判断"这类话，很多时候可能只是在做一件让人心安却不解决实际问题的事。
另一个让我停下来想很久的细节，是那个第46层才开始"想清楚"的发现。这意味着，如果你只在网络的中间层去做任何形式的干预或者监控（很多可解释性研究确实喜欢在中间层下手），你可能会完全错过真正的决策发生点。这对整个AI可解释性这个研究方向,其实是个挺重要的提醒:直觉上觉得"应该在哪里发生"的事情，未必真的发生在那里。
论文里还有一处我觉得值得单独拎出来说：研究者试图用"扭转某个内部方向"的方式（一种叫做激活引导的技术）去强行纠正模型的行为，结果这个定向干预跟随便找一个随机方向的效果没有区别。这个失败的结果反而挺诚实,它说明这个问题不是一根线能拉动的开关，可能是分布在整个网络里的一种整体倾向,想用一两个巧妙的技巧去"修一下"，恐怕行不通。
这篇论文没有给出解决方案，它只是把问题测得很清楚。这种"只测量不解决"的态度,在这个人人都急着发布新模型、宣传新突破的领域里,反而显得挺难得。
那么下一个问题自然就来了：如果连续问AI几个问题，中间夹杂几张对的图和几张错的图，AI会不会中途改变自己的"依赖习惯"？还是说这种对文字的偏好,一旦形成就是恒定不变的？
Q&A
Q1：ModaLens实验测出AI依赖报告文字而忽视图像的具体数据是多少？
A：在MedGemma-27B模型上,有报告时换图片只让4.26%的答案发生变化,没有报告时这个比例跳到20.94%,相差16.7个百分点,说明报告在场会明显压制AI对图像的敏感度。
Q2：这个"重文字轻图像"的现象只出现在MedGemma模型上吗？
A：不是。研究团队还测试了Qwen3.5的90亿和270亿参数版本,以及LLaVA-NeXT模型,报告效应分别是13.3、19.6和12.75个百分点,方向一致,说明这是当前医学视觉语言模型的普遍倾向,不是单一模型的问题。
Q3：提醒AI报告可能过时或错误，能让它重新重视图像吗？
A：几乎没用。研究者明确警告AI报告可能不描述当前图片、可能是错的,结果图像敏感度只从1.22%涨到1.50%,统计上看不出显著差异,说明这种依赖倾向很难通过简单提示词纠正。
启远网提示：文章来自网络，不代表本站观点。
