1. 从物理相机到策略网络RawVLA要解决的那个最后一公里问题做具身智能Embodied AI的人大概都有过这种体验仿真环境里训练得好好的VLAVision-Language-Action策略一上真机就水土不服。动作抖动、抓取偏移、对光照变化异常敏感——你以为是策略网络不够强换了更大的backbone、加了更多的数据结果提升有限。问题很可能不在策略本身而在它看到的东西。RawVLA这个工作来自东京大学和港科大崔子藤教授团队切入的正是这条被很多人忽略的链路物理相机的成像差异。它的核心主张是与其让VLA策略去适应各家相机五花八门的ISPImage Signal Processor图像信号处理器输出不如在RAW域做一次具身神经ISP把不同相机的成像统一到策略友好的表示空间里。关键词里的具身神经ISPRAW处理物理相机三个词其实就概括了整条技术路线在RAW数据上用一个可学习的、面向具身任务的ISP替代传统相机里那套为人眼好看而设计的固定pipeline。为什么这件事重要因为传统ISP的目标是让照片好看——自动白平衡、色调映射、降噪、锐化每一步都在为人类视觉服务。但VLA策略要的不是好看是稳定、可判别、跨设备一致的视觉特征。同一张桌子用A相机拍出来偏暖、B相机拍出来偏冷经过各自的ISP之后颜色、对比度、噪声分布全变了。策略网络如果直接吃这些sRGB图像就等于在跟一个不断变化的输入分布做斗争。RawVLA的价值就在于它把成像差异这个变量从策略学习的方程里尽量消掉。这篇文章适合谁看如果你在做机器人操作、自动驾驶感知、或者任何需要把视觉模型部署到真实物理设备上的工作尤其是被换相机就掉点折磨过的同学这篇拆解会帮你理清RAW域处理在具身场景里的完整思路。我会从问题本质、神经ISP的设计逻辑、RAW处理的具体操作、到实测中的坑一层层讲清楚。需要说明的是项目正文和关键词给的信息很精简所以涉及具体网络结构、训练细节的部分我会基于这个方向上的常见实践做合理补全并明确标注哪些是推断。2. 成像差异到底差在哪拆解传统ISP对VLA策略的隐性干扰2.1 传统ISP的每一步都在改写策略的输入要理解RawVLA为什么要绕开传统ISP得先看清楚传统ISP到底做了什么。一颗CMOS传感器输出的RAW数据本质上是每个像素点只有一个颜色通道的强度值Bayer阵列它记录的是线性响应的光强。而我们在屏幕上看到的sRGB图像中间隔了一整套非线性变换黑电平校正与镜头阴影校正不同相机的黑电平偏移不同暗角补偿曲线也不同导致同一场景的暗部亮度就有系统性差异。自动白平衡AWB这是差异最大的环节。AWB算法根据场景估计色温但估计本身就有随机性和厂商偏好。同一盏灯下A相机可能判成5000KB相机判成5500K出来的白平衡结果直接不同。去马赛克Demosaic不同算法对边缘的处理不同高频细节的还原程度不一样直接影响策略对物体边界的判断。色调映射与Gamma把线性数据压到显示友好的非线性空间这一步是非线性的会改变像素间的相对关系。降噪与锐化厂商的降噪强度是调参调出来的弱光下A相机可能把纹理抹平B相机可能保留更多噪声。对VLA策略来说这些步骤每一个都是不可控变量。你在仿真里用干净渲染图训练真机上却要吃一套被ISP反复揉捏过的图像域 gap 自然大。更麻烦的是不同相机的ISP差异不是简单的线性偏移而是非线性的、场景相关的——亮场景下差异小暗场景下差异大纯色区域差异小高纹理区域差异大。这种复杂的分布偏移靠策略网络自己去硬扛代价就是需要海量真机数据而且换一台相机就得重新适应。2.2 为什么统一到RAW域是更合理的起点RAW数据的最大优势是它离物理世界最近。它没有经过AWB、色调映射这些主观性强的处理不同相机之间的差异相对规整——主要是传感器响应曲线、噪声模型、Bayer pattern这些可以用物理模型描述的东西。换句话说RAW域的跨设备差异比sRGB域更可建模、更可对齐。RawVLA的思路就是抓住这一点既然差异在RAW域更干净那就在RAW域做统一。用一个神经网络ISP把不同相机的RAW映射到一个共享的、任务导向的特征空间而不是映射到人眼好看的sRGB。这个神经ISP不是简单模仿传统ISP而是端到端地和VLA策略一起训练让ISP输出的表示直接服务于动作预测。这就是具身神经ISP里具身二字的含义——ISP是为具身任务定制的不是为显示定制的。提示这里有个容易混淆的点。神经ISPNeural ISP本身不是新概念手机影像里早就在用。但那些神经ISP的监督信号是和单反拍的照片像不像是面向人眼的。RawVLA的神经ISP监督信号来自策略的loss是面向动作的。目标函数不同学出来的表示完全不同。2.3 一个具体的差异量化例子假设同一场景两台相机拍摄我们比较它们在sRGB域和RAW域的特征距离。基于常见实践可以这样理解比较维度sRGB域差异RAW域差异颜色偏移大AWB引入小仅传感器响应差异亮度非线性大Gamma色调映射无线性响应噪声分布被降噪改写不可预测接近传感器物理噪声模型纹理细节受锐化/降噪影响大保留原始高频信息跨设备可对齐性差好这张表解释了RawVLA的核心动机在RAW域做对齐比在sRGB域做对齐难度低一个量级。策略网络不需要再去猜这张图经过了什么ISP处理因为ISP已经被一个可学习的、统一的模块替代了。3. 具身神经ISP的设计逻辑让ISP和策略一起长大3.1 端到端联合训练的关键取舍RawVLA最核心的设计决策是把神经ISP和VLA策略放在同一个训练图里联合优化。这个选择听起来自然但背后有几个必须想清楚的取舍。第一个取舍是ISP要不要独立预训练。一种做法是先用大量RAW-sRGB配对数据预训练一个神经ISP再冻结它去训策略另一种是直接从随机初始化开始联合训练。前者收敛快但可能被人眼目标带偏后者更纯粹但训练不稳定。基于这个方向的常见实践RawVLA更可能采用轻量预训练联合微调的折中先用少量数据让ISP有个合理初始化避免训练初期输出爆炸然后解冻和策略一起调。这样既保证了稳定性又让ISP最终服务于任务目标。第二个取舍是ISP的输出空间是什么。如果输出sRGB那等于还是回到老路如果输出一个抽象特征图又可能丢失空间细节。合理的做法是输出一个多通道的、保留空间分辨率的中间表示既不是给人看的图像也不是完全抽象的特征而是介于两者之间的任务友好表示。这个表示的具体通道数和分辨率是需要根据策略网络的输入需求来定的。第三个取舍是参数量分配。ISP如果太重推理延迟上去了真机部署吃不消太轻又拟合不了复杂的跨设备映射。这里通常会用一些轻量结构比如少量残差块加通道注意力把参数量控制在策略网络的几分之一以内。3.2 跨相机对齐是怎么实现的自适应RAW处理里的自适应核心是指ISP能根据输入RAW的统计特性动态调整处理策略。实现上通常有两条路条件化Conditioning把相机的元信息如ISO、曝光时间、传感器型号embedding作为条件输入让ISP知道这是哪台相机拍的从而走不同的处理分支。这要求推理时能拿到这些元信息。隐式自适应不给显式条件让ISP自己从RAW数据里推断相机特性。比如通过全局池化得到场景统计量再调制中间特征。这种方式部署更简单不依赖元信息但对网络容量要求更高。RawVLA作为要解决物理相机差异的方法大概率是两者结合用可获取的元信息做粗对齐再用隐式特征做细调。这样即使某些相机拿不到完整元信息也能靠隐式分支兜底。跨相机对齐的训练信号从哪来一个自然的想法是一致性约束同一场景用不同相机拍ISP输出的表示应该尽量接近。这可以通过对比学习或者简单的L2对齐来实现。但要注意完全强制一致可能抹掉对任务有用的差异比如深度线索所以一致性约束通常是软约束权重需要调。3.3 和VLA策略的接口设计神经ISP的输出怎么喂给VLA策略是个容易被忽视但很关键的细节。VLA策略通常有一个视觉backbone比如ViT或CNN它期望的输入是固定尺寸、固定归一化的图像。神经ISP的输出需要适配这个接口。常见做法有两种一是ISP输出直接就是backbone期望的格式端到端打通二是ISP输出一个增强后的RAW-like表示再经过一个轻量的、可学习的标准化层送入backbone。前者更简洁后者更灵活。考虑到VLA策略往往是从预训练视觉模型微调来的保留一个可学习的适配层可能更稳妥因为它能在不破坏预训练特征的前提下做域适配。注意联合训练时ISP的梯度会通过策略网络回传。如果策略网络很大ISP收到的梯度可能很弱或者噪声很大。实践中常用梯度缩放或者分阶段解冻来缓解先让策略适应ISP的初始输出再逐步放开ISP的学习率。4. RAW处理落地实操从Bayer数据到策略输入的完整链路4.1 数据采集与RAW格式处理真机部署RawVLA第一步是拿到RAW数据。不同相机的RAW格式五花八门有的输出Bayer pattern的裸数据有的打包成特定容器格式有的还带厂商私有的压缩。实操中需要先做格式解包还原成标准的Bayer阵列。以常见的Bayer RGGB排列为例解包后得到一个H×W的单通道数组其中每个2×2块对应一个R、两个G、一个B。处理流程大致是黑电平扣除减去传感器的黑电平偏移通常在元数据里有标定值。归一化把不同位深10bit、12bit、14bit统一到浮点范围比如除以最大位深值。坏点校正用邻域中值替换明显的坏点这一步可选但建议做。打包成网络输入把Bayer的四个子通道拆开重排成4通道的H/2×W/2张量或者用像素重排pixel shuffle的方式组织。import numpy as np def unpack_bayer(raw, black_level64, max_val1023): # raw: H x W 单通道Bayer数据 (RGGB) raw raw.astype(np.float32) raw np.clip(raw - black_level, 0, None) / (max_val - black_level) # 拆成四个子通道 r raw[0::2, 0::2] g1 raw[0::2, 1::2] g2 raw[1::2, 0::2] b raw[1::2, 1::2] # 堆叠成 4 x H/2 x W/2 packed np.stack([r, g1, g2, b], axis0) return packed这段代码是RAW处理的基础。注意黑电平扣除要在归一化之前做顺序反了会导致暗部信息被压缩。另外不同相机的Bayer排列可能是RGGB、BGGR、GRBG、GBRG搞错了颜色就全乱了实操中一定要先确认。4.2 神经ISP的训练数据准备训练神经ISP需要成对的跨相机数据。理想情况下同一场景用多台相机同时拍摄采集RAW和对应的动作标签。但现实中很难做到严格同步所以常见做法是场景级对齐在同一场景下分别用不同相机采集靠时间戳或视觉特征做粗对齐。仿真辅助在仿真里渲染RAW-like数据加噪声、加Bayer采样提供大量配对样本再用真机数据微调。数据增强对RAW做随机曝光、随机白平衡扰动模拟不同相机的成像差异增强ISP的泛化性。这里有个实操心得RAW域的增强和sRGB域的增强完全不是一回事。sRGB上常用的颜色抖动、亮度调整在RAW上要换成对线性光强的乘性/加性扰动还要考虑噪声模型。如果直接把sRGB的增强套到RAW上物理意义就错了。4.3 推理部署的延迟与内存考量真机部署时神经ISP是加在策略前面的它的延迟直接叠加到整个控制回路上。假设策略推理需要20msISP如果吃掉10ms控制频率就从50Hz掉到33Hz对动态任务可能就不够了。优化方向有几个算子融合把ISP里的卷积、BN、激活融合成单个算子减少kernel launch开销。半精度推理ISP部分用FP16甚至INT8通常精度损失可接受。分辨率下采样如果策略不需要全分辨率ISP可以在低分辨率上跑或者用可分离卷积降低计算量。异步流水线ISP和策略的前处理重叠执行把延迟藏起来。优化手段延迟收益精度影响实现难度算子融合中无低FP16推理高小低分辨率下采样高中中异步流水线高无高提示延迟优化要在真机实测不能只看理论FLOPs。很多嵌入式平台的瓶颈在内存带宽而不是算力这时候降低特征图通道数比减少层数更有效。5. 实测中那些文档不会写的坑5.1 相机元信息不可靠的问题前面提到用相机元信息做条件化但实操中元信息经常不可靠。有些相机的曝光时间、ISO在驱动层读出来是错的有些USB相机根本不提供这些字段。如果ISP强依赖元信息一旦缺失就会崩。应对策略是设计成元信息可选有就用没有就走隐式分支。训练时随机dropout元信息让网络学会在没有条件的情况下也能工作。这个技巧叫条件dropout在跨设备场景里特别有用。5.2 联合训练的不稳定性ISP和策略联合训练最容易遇到的是loss震荡。原因通常是ISP输出分布变化太快策略跟不上。缓解办法ISP学习率设小通常是策略学习率的1/5到1/10。warmup阶段冻结ISP先让策略适应ISP的初始输出再解冻。梯度裁剪对回传到ISP的梯度做裁剪防止爆炸。EMA对ISP参数做指数移动平均推理时用EMA参数更稳定。我踩过的一个坑是一开始把ISP学习率设得和策略一样结果训练前几百步loss直接飞了ISP输出饱和到全白。后来把ISP学习率降到1/10加了warmup才稳定下来。5.3 跨相机泛化的边界RawVLA能降低成像差异的影响但不是万能的。如果测试相机的传感器类型和训练时差异太大比如从CMOS换到完全不同的传感器或者场景光照条件超出训练分布效果还是会掉。它的能力边界是同类型传感器、合理光照范围内的跨设备对齐不是任意相机任意场景通吃。实操中建议训练时尽量覆盖多种相机、多种光照测试新相机时先做一轮小样本微调通常几十条轨迹就能明显改善。6. 这套思路还能往哪延伸RawVLA把成像差异这个变量显式地建模和处理这个思路本身比具体方法更有价值。往大了说任何感知-决策链路里只要感知端存在设备相关的、非任务相关的变换都可以考虑用类似的方式在更靠近物理信号的层面做对齐。比如多传感器融合场景不同模态相机、深度、触觉之间的对齐也可以借鉴在原始信号域做统一表示的思路。再比如跨机器人本体的策略迁移不同机器人的相机安装位置、视角不同本质上也是一种成像差异只是发生在几何层面而非光度层面。我个人在实际操作中的体会是别急着上更大的模型先看看输入数据里有没有可以消掉的系统性变量。很多时候策略表现不好不是模型不够强而是它在为一个本可以消除的差异买单。RawVLA的价值就在于它把这个本可以消除的差异指了出来并给了一套可落地的处理方案。