我们做视觉模型的平时最头疼的一件事不是模型效果差而是说不清楚模型到底“看到了什么”。分类准确率再高遇到一个没见过的场景你还是不知道它依赖的是形状、纹理还是背景。最近关注到一个挺有意思的思路用“典型颜色”当透镜去观察视觉编码器和视觉语言模型VLM内部的概念可解码性。这个角度看起来很小但实际操作之后会发现它能把模型内部那个抽象的表征空间慢慢用我们能理解的方式描出一个轮廓来。这篇文章我会从思路设计、原理拆解、实操流程和避坑经验四个方面展开希望能给你提供一个可以照着做的完整参考。1. 整体思路为什么用“典型颜色”作为透镜1.1 典型颜色是什么核心假设又是什么典型颜色英文里常叫 canonical color指的是一个概念在人类认知中最具代表性的颜色。比如说到香蕉你脑子里大概率浮现的是黄色说到天空是蓝色说到草是绿色说到消防车是红色。这些颜色不是某个真实物体的全部属性但却是这个类别最具辨识度的视觉信号。把这个直觉搬到模型分析里就形成了一个核心假设如果视觉模型真正学会了一个概念比如“香蕉”那它提取的特征里应该天然包含与“黄色”相关的可分离信息。更进一步说如果模型把“香蕉”和“黄色”表示得足够紧密那么在特征空间中一个概念的典型颜色特征应该能比较容易地被解码出来。这就把“模型是否理解概念”这个模糊问题转化成“典型颜色是否可解码”这个可测量的指标问题。这个想法之所以值得做是因为颜色在视觉表征中扮演的角色非常特殊。颜色既不是像形状那样的高层语义信息也不是像边缘那样的底层特征它处于一个中间位置。很多早期工作已经发现卷积网络在底层会先学会颜色相关的滤波器之后才会组合出更复杂的纹理和形状特征。所以颜色可以作为探针去窥探模型内部信息从底层向高层传递的路径以及最终在表征空间中保留了多少可用的颜色信息。1.2 选择典型颜色而非任意颜色的原因这里有一个关键的设计决策为什么非要选“典型”颜色而不是随便找一组颜色去测试最直接的原因是典型颜色具备跨模态的一致性。以香蕉的黄色为例无论在真实图像、卡通简笔画、文字描述“banana is yellow”还是人类的心理意象中这个颜色都稳定存在。这种一致性让它可以成为一个跨模态对齐的锚点尤其适合用在视觉语言模型上。另一个原因是判别力。典型颜色是类别区分度很高的信号。香蕉的黄色、大象的灰色、柠檬的黄色这些颜色本身就承担了类别识别的功能。如果我们用非典型颜色做实验比如一个随机的RGB值它在特征空间中可能对应不到任何有意义的语义区域测量出来的“可解码性”就缺乏语义参照。典型颜色则不同它背后跟着一个清晰的概念测量结果可以直接解释为“模型对某概念的颜色记忆是否清晰”。这也引出了整套方法中最核心的因果关系典型颜色是概念的一个维度而不是概念的替代品。我们不是用颜色去完全复现模型如何理解一个概念而是通过颜色这个维度去估算模型理解这个概念时保留了多大比例的、人类也能识别的信息量。这个逻辑在后续设计实验指标时非常关键它决定了我们每一个测量结果可以被赋予什么样的解释。2. 核心概念拆解概念可解码性究竟是什么2.1 可解码性、线性探针与表征空间先聊清楚“概念可解码性”到底在量化什么。简单说它衡量的是从一个模型的中间层或最终表征中能否通过一个简单分类器或映射恢复出某个语义概念的信息。这里有个很重要的词是“简单”。为什么必须是简单映射因为如果允许任意复杂的解码器那任何信息理论上都能被强行还原出来这就无法说明模型本身具有概念的线性表达能力。用线性探针是行业内比较公认的做法它在表征空间中训练一个logistic回归或线性分类器测试能否把香蕉图片和别的图片分开。可解码性的意义在于它反映了概念在表征空间中的分布形态。如果一个概念在表征空间里是线性可分的说明模型已经把这个概念铺展成了一个清晰的、没有缠绕的结构。反之如果线性探针效果很差往往意味着这个概念的信息被分散在多个维度或者与其它概念高度纠缠需要非线性变换才能解开。在实际工作中这个概念也能指导我们判断一个预训练模型的表征是否“成熟”。我在自己试过之后发现线性探针的表现和模型下游任务的稳定性有很强的相关性。线性探针效果好的模型做迁移学习时往往也更省力。这可能是因为线性可分的概念结构意味着信息没有被折叠进过于复杂的几何结构中后续的微调只需要小幅调整就能适配新任务。所以可解码性不只是分析工具它也能当作一个表征质量的诊断指标。2.2 从表征到解释可解码性与可解释性的关系这里有必要把可解码性和可解释性区分开。可解释性是一顶很大的帽子包含了各种试图让人理解模型决策/内部机制的方法比如注意力可视化、类激活映射、特征归因等等。这些方法有一个共同点是它们回答的是“模型为什么这么做”。概念可解码性回答的则是另一个更基础的问题“模型到底有没有某种信息”。这两个问题有着先后关系。如果连信息是否存在都无法确认讨论特征归因合不合理就有点空中楼阁。典型颜色分析做的正是前面这一件事提供一个低门槛、可复现、跨模型可比的手段用来确认颜色这种基础视觉信息在不同模型层的保留情况。它不追求回答所有解释性问题但为后续的解释性工作提供了可靠的地基。另外概念可解码性还有一个优势是它可以跨层做。我们可以同时在浅层、中层、深层放探针观察一条概念信息从输入到输出的“存活曲线”。这有点像给模型做检查看看哪个环节丢信息了哪个环节信息被重组成更抽象的形式。在实验里我通常会画一条随层数变化的解码准确率曲线这比只看单层结果能暴露更多问题尤其是对于训练不充分的模型或数据有偏的模型尤其有效。3. 视觉编码器与VLM为什么分开讨论3.1 视觉编码器中的颜色语义单独的视觉编码器比如在各种任务上预训练好的ResNet、ViT它们的表征空间是纯视觉驱动的。图片进去特征出来在这个过程中颜色信息会自动被编码。但有趣的是不同训练目标和不同架构的编码器对颜色信息的组织方式往往差别很大。用典型颜色做探针时这类模型的反应通常比较直观。因为编码器自身没有语言监督颜色和类别的关联主要依赖数据分布的自然统计信息。比如在ImageNet上训练的模型红、绿、黄这些基础色会被组织成相对清晰的簇因为它们频繁出现在某些类别中。但如果是更抽象的颜色比如墨绿、赭石这些在自然图像中出现频率较低的颜色编码器可能不会把它们当成稳定的语义概念来组织线性探针的效果就会明显下降。这其实反映出一个本质纯视觉编码器对颜色的表达是数据驱动、分布驱动的它只对高频出现的概念友好。这也提醒我们用典型颜色做实验时一定得把“低频颜色”也放进去作为对照组。否则很容易得出“模型什么都学到了”的错误结论。实际上只有对照组的准确率低于实验组的才能说明模型对“典型”这个属性是有偏好的。3.2 VLM怎样改变颜色信息的分布到了视觉语言模型这一层情况复杂很多。VLM通过图文对比学习把图像特征和文本特征拉入同一个语义空间。这个操作带来的一个直接结果是特征空间的语义结构不再仅由视觉分布驱动语言的类别系统开始强有力地重塑视觉表征。这个重塑过程对颜色的影响非常大。语言里“红色”是一个高度抽象的词它可以覆盖消防车的红、口红的红也可以覆盖番茄的红。当模型被迫把所有这些视觉上的“红”对齐到同一个词时视觉表征就会经历一次语义压缩把不同深浅的红往一个方向推。用典型颜色探针去测量这种现象就能看到模型深层特征中典型颜色的可解码性往往显著高于视觉编码器的对应层。原因是语言提供了一种标签帮模型把视觉上相似但又不完全相同的颜色系到了同一个概念点上。但同时VLM也有一个很容易被忽略的问题就是颜色词在训练数据中可能严重分布不均。翻看图像描述数据集会发现“white”、“black”出现频率远高于“beige”、“turquoise”。这种语言分布的不平衡会潜移默化地影响VLM对颜色概念的表征弹性。实验中值得关注的细节是那些训练数据中出现较少的颜色词其对应的典型颜色特征在VLM里往往解码能力不太好甚至不如纯视觉编码器。这说明VLM牺牲了一部分尾部分布的颜色细节换取了主流概念的语义对齐。4. 实操复盘一套可复现的典型颜色可解码性实验流程4.1 前置准备数据集、模型和探针任务设计如果想把上面这些讨论落到实践动手前一定要把三件事想清楚数据、模型和实验协议。数据方面不建议直接用整张ImageNet跑太重且杂质多。更好的做法是选择一组类别相对可控、颜色属性非常明确的数据集。比如可以做一个小规模的物体颜色数据集涵盖多种类别的物体同时给每类标注对应的典型颜色。关键要求是每个类别中的物体主体颜色要一致并且背景不能干扰颜色判断。这里有个实用技巧就是用分割掩码把物体区域单独裁出来做测试能有效排除背景颜色对特征提取的干扰。模型方面选择尽量多样化。视觉编码器至少选一个有代表性的CNN和一个ViTVLM可以选CLIP系列的ViT-B/32和ViT-L/14如果硬件允许再加一个开源的多模态大模型里的视觉塔。多模型对比的意义在于你可以把某一对模型的差异单独归因到架构或训练目标上这是单模型实验做不到的。探针任务设计要遵循一个原则训练探针和测试探针的数据必须隔离。我的做法是用一半图片训练线性分类器另一半图片做测试同时在图片层面保证同类别的不同图片没有出现在这两半中。这一点如果不注意探针会学到图片背景或采样噪声而不是真正的颜色概念得到的准确率是有水分的。4.2 特征提取、典型色相似度与指标计算具体实现时第一步是特征提取。把每个测试图片送入模型取出特定层的输出。对于CNN我会用最后一个卷积层后的全局池化特征对于ViT用CLS token位置的输出。这两个都是业内通用的节点方便复现。提取后做L2归一化这样不同模型、不同层之间可以直接比较。第二步是典型色相似度计算。这一步的目标是算出某个类别图片的特征与这个类别典型颜色的文本/视觉描述特征之间有多接近。现在实现它不需要额外模型如果你用的是CLIP类模型可以直接把“a yellow banana”这类文字描述编码后和图像特征算余弦相似度。这个值可以作为一个基础指标称为“典型色对齐度”。第三步是线性探针。在提取出来的图像特征上训练一个逻辑回归分类器任务是区分不同类别的典型颜色。这个准确率直接作为解码性度量。我自己的经验是除了看最终准确率还要关注探针训练的次数。如果训练轮数迭代了很多次才收敛可能说明这个概念虽然可分但模型表征里对应的信息比较隐晦需要“费力”才能找回。这两个指标结合可以给模型内部的表征便利度打一个更完整的分数。注意编码器如果已经在你看不到的开源数据集上预训练过它的特征分布可能已经包含了与颜色相关的偏见。做探针测试时务必在报告中注明模型版本和数据来源否则出来的结果别人很难复现出同一结论。4.3 常见问题与避坑技巧我在这套流程的实践中踩过很多坑整理几个典型的分享一下第一个是特征层选择不一致。不同模型的“中间层”语义不可直接对应。ViT的注意力层和CNN的卷积层对颜色信息的编码深度完全不同。如果不加分辨地去取特征比较容易得出“ViT不重视颜色”的错误印象。我的建议是先跑一个全层扫描看看每层线性探针准确率的变化选择准确率开始稳定的层作为后续比较基准。第二个是数据集的类别不平衡。某些颜色过于常见比如白色和黑色会导致探针只学到了这些大类其它颜色的解码性被低估。解决方法是采样时保证每一类颜色样本数量一致并且每一类中包含多个不同物体防止探针记住物体形状而非颜色。第三个问题很有迷惑性图像分辨率。VLM和视觉编码器的输入分辨率往往不同有的用224x224有的用336x336。在缩图过程中微小物体的颜色会被平均化尤其是细小物体的颜色会混入邻域像素。如果实验里出现小目标的高频类别这一步很容易让颜色信息被噪声吞掉。操作时可以单独计算一下不同分辨率下探针准确率的波动若波动超过5个点必须把分辨率固定下来再比较。第四点是关于文本描述的选择。在VLM的语境下文字形式能直接影响图像特征与颜色概念的匹配。比如直接用“yellow”四个字母和用“a yellow banana”这个短语得到的特征分布差异会很大。实验时应当明确声明文本模板否则无法判断测到的是模型对颜色的理解还是对句法结构的偏向。5. 从这套实验里得到的几条实操体会这套分析框架走下来我最大的感受是视觉模型内部的概念组织方式比我们想象的更“经济”。模型不会像人一样主动给所有语义概念分配均匀的存储空间而是把资源集中在频繁出现、任务收益高的概念上典型颜色恰好就是这么一类概念。通过它去测量等于直接观察了模型在核心色觉语义上的投入产出比。另一个重要体会是VLM的语言对齐过程实际操作上像在给视觉表征做一次“语义雕刻”。有的信息被强化有的信息被压缩哪些被强化取决于语料中概念的共现频率。这里面特别提醒一点做VLM评估时别只盯着平均指标。我见过不少模型平均效果不错但拆到具体典型颜色组上你会发现它的强其实建立在一两个高频颜色上其它颜色的解码性弱到还不如一个小规模纯视觉模型。最后想分享一个可以继续扩展的方向。典型颜色分析本质上是一种“受控概念探针”的实例。沿着这个思路你可以把“颜色”这个属性替换成其他概念属性比如材质、形状、空间关系做一套“概念可解码性矩阵”。这样就不只是观察单一维度而是从多个维度拼接出一张模型语义结构的剖面图。后续在模型选型、评测、甚至训练数据诊断上这套方法都能帮上忙。我在实际项目里就把这种探针用在了预训练数据筛选上用颜色可解码性快速定位数据集中到底哪些语义结构是缺失的省了不少时间。方法本身不复杂准备一个小规模数据集写好特征提取和探针训练脚本跑几天就能获得非常直观的结论。上面提到的代码流程和数据准备链路我都在本地环境完整跑通过过程中遇到的行为差异基本都是可控的。做一次这样的分析比单看benchmark数字更能了解你手头这个模型到底长什么样。