在今年的国际计算机视觉大会上我们团队分享了一个主题从成像到感知。我讲了整整四十分钟核心就是HVS融合视觉传感器以及它为什么会成为下一代多模态视觉范式的重要基础。之所以想把这个分享沉淀成文字是因为会后有不少同行来问同一个问题融合视觉到底是不是概念包装它和传统相机加事件相机本质上有什么不一样这篇文章我就把这些年的工程思考和踩过的坑掰开来说。1. 动态范围、时间分辨率与功耗为什么单靠传统相机不够了1.1 传统相机在感知任务面前的两个天花板先聊一个很具体的场景。前几年我们做高速移动机器人的视觉感知用的还是传统CMOS图像传感器。白天光线好时90帧每秒的灰度图画面干净、算法稳定但一旦机器人快速转向立刻就暴露两个问题一是运动模糊曝光时间稍微拉长一点整帧图像边缘全是拖影二是帧率带来的带宽压力要跟得上快速变化就得提帧率帧率提上来之后后端处理芯片的热量也跟着上来了。这两个问题的根源在于传统相机的底层逻辑——它在努力“记录一张好照片”。为了把画面拍清楚它需要足够的曝光时间、合理的增益和合适的帧率。但感知任务要的不是照片而是变化、是趋势、是物体的边界在空间中的连续移动关系。你拿一台为了拍照设计的传感器去感知高速动态相当于用单反相机连拍来抓乒乓球轨迹能拍到但代价极大。动态范围是另一个典型瓶颈。一个室内场景窗外阳光直射、室内阴影区域两者亮度差可以达到三个数量级以上。传统CIS的动态范围通常在60到70分贝遇到这种逆光场景要么窗外过曝一片白要么室内死黑什么都看不见。虽然可以用多帧HDR合成把不同曝光时间的长短帧拼在一起但高动态场景一旦出现运动合成结果就会出现鬼影。这是物理原理决定的死结帧是离散的运动发生在帧与帧之间任何基于多帧的重建都难以避免时序错位。1.2 事件相机改写了“感知优先”的规则事件相机是我很早就开始关注的技术方向。它跟传统相机在原理上就是两条路每一个像素都独立工作持续监测光强的对数变化一旦变化幅度越过阈值就立刻输出一个带时间戳的事件包括亮度和变暗的方向。没有变化就没有输出像素安静地待着。这个机制带来的直接优势非常吓人时间分辨率可以达到微秒级别比传统90fps的相机高好几个数量级动态范围天然超过120分贝因为像素的响应曲线是对数域的亮暗极端都不容易饱和功耗也很低因为静态场景下整颗芯片几乎没有数据输出。但事件相机并不是银弹。它最大的问题是在静态场景里它什么都看不见。电梯里不动的角落、静止的货架、没有变化的背景区域事件流是空的但感知系统恰恰需要知道“这里存在一个物体、它是什么颜色、它占据了多大区域”。事件只能是边缘和变化无法提供稳定外观信息。第二是噪声问题事件触发阈值有亚像素失配传感器表面还会产生大量离群事件直接拿裸事件流做视觉算法先要花大量精力清洗。所以我在分享里反复说一句话事件相机不是替代传统相机的它是补传统相机缺的那块感知拼图的。真正的问题是怎么把这两者放在一起不让它们的缺点互相叠加。1.3 “从成像到感知”到底意味着什么理解到这一步就能明白为什么要把“从成像到感知”当成一个范式转换来看。传统视觉链路是传感器成像算法从图像中提取信息。传感器和算法是完全解耦的两层传感器负责把物理世界变成照片算法负责从照片里找答案。到了高速、高动态、低功耗场景这个链路的成本递增非常快。而感知优先的思路是传感器在设计之初就要考虑后续的算法需要什么信号。变化检测需要什么连续时间域的事件流。外观识别需要什么稳定曝光的灰度图。那能不能让同一块传感器在像素层面同时提供这两种信号这就是HVS融合视觉的出发点。它不是简单的“一个芯片里塞两个传感器”而是从器件架构层面让“成像”和“感知”两套工作模式在同一个像素里并行存在。2. 像素级双通路HVS融合芯片如何在同一块硅片上同时读出帧与事件2.1 同一颗光电二极管光线进来兵分两路融合视觉的硬件实现方式市面上有过几种路线最粗糙的是双芯片分光用棱镜或者半透半反镜把光束分成两份一路进传统传感器一路进事件相机。这种方案在实验室验证算法完全没问题但量产时体积大、光路校准困难、两颗芯片的视差很难完全消除。我们团队走的是像素级融合路线也就是一枚融合芯片上所有像素同时具备两种读出能力。具体来说每个像素内部共享同一个光电二极管光子进入后产生的光电流被复制成两路一路走传统积分支路在一定曝光时间内累计电荷然后在行扫描时读出灰度值这是帧通路另一路走事件检测支路持续监测对数光电流的变化一旦变化越过阈值就通过异步仲裁电路立刻输出一条包含坐标、极性和微秒时间戳的事件。这里的关键就是“共享光电二极管”。一颗像素一个感光点同时服务两套读出。带来的直接好处是事件和帧天然在同一个视角坐标系里像素位置一一对应没有视差。你拿到一帧画面和一段事件流它们在空间上的对应关系是硬件保证的不需要后期做特征匹配。如果做一个生活化的类比你可以把传统像素理解成一个只拍照片的照相机把事件像素理解成一个只看动静的侦察员。融合像素是让同一个人同时干两件事眼睛一直盯着画面记录光影变化同时只要有任何东西移动了就立刻喊一声。这两件事不冲突因为一个是“常态记录”一个是“异常触发”。2.2 读出架构的两种节奏列并行ADC与异步事件仲裁融合芯片的读出架构是我认为最考验工程能力的地方。帧通路是典型的CMOS图像传感器工作方式每个像素的积分电荷通过列并行ADC转换为数字值再按行顺序扫描输出。这个过程是周期性的、节拍固定的一帧接一帧像磁带一样匀速转。事件通路则是完全异步的。每个像素的事件触发是随机发生的可能在任意微秒冒出上百个事件也可能几十毫秒一个都不出。这些事件需要被传输到片外处理器但传输总线是有带宽上限的如果所有像素同时触发总线会被瞬间打满。所以芯片内部要设计一个事件仲裁树一级一级地把事件请求汇总到输出端口优先保证每个事件都能被读出同时给每个事件打上精确的微秒时间戳。这个仲裁机制处理得不好就会出现事件丢失丢一两个事件在视觉上可能看不出来但在高速运动重构里就是轨迹的断裂。数据格式上也和传统传感器完全不同。帧是二维数组每帧是一个完整画面事件流则是一串四元组x坐标、y坐标、极性、时间戳。它是稀疏的、非均匀采样的、无限长的数据流。这意味着后端的整个数据通路都要重新设计不能沿用老的ISP管线。2.3 我们在芯片工程里做过的几个取舍融合像素的代价是像素面积会变大。同一个像素里既要放积分电容、复位管、源跟随器又要放事件检测的对数压缩电路、阈值比较器和触发逻辑。硅片面积就是成本像素越大同样分辨率的芯片面积就越大良率越低单片成本越高。我们在设计时反复权衡过像素间距最终在灵敏度、暗电流和事件阈值一致性之间找了一个平衡点。事件触发阈值的一致性是最容易翻车的指标。半导体工艺里每个晶体管的阈值电压存在天然偏差这会导致不同像素对同样亮度的触发灵敏度不一样。结果就是一颗看起来亮度均匀的传感器事件流里却会出现固定图案噪声——某些区域的像素特别容易触发某些区域特别迟钝。这个问题必须通过片上校正电路和出厂标定来压制。另一个功耗层面的坑是事件通路必须常开。传统CIS在不需要拍照时可以把整个像素阵列关掉但融合传感器不行事件检测支路要一直监测光电流变化否则就会漏掉关键事件。所以整个芯片的待机功耗是压不下来的我们在低功耗设计上主要把精力放在了事件通路的低压工作和降低像素静态电流上。3. 从帧到事件帧视觉算法栈重新编排的关键思路3.1 事件流怎么变成神经网络能吃的东西芯片有了数据出来了真正让融合视觉落地的是算法栈的改造。事件流是异步时空数据它不是图像不能直接塞进以图像为输入的卷积网络里。长期以来研究者都在讨论“事件流最自然的表示方法是什么”尝试过很多条路。第一种是累积事件帧。把一段固定时间窗口内的事件按极性累加得到一个两通道的二维图。这种方法最简单容易和图像融合但代价是丢失了时间信息。一个快速移动的物体和一个低速移动的物体只要累积窗口内事件数相同累积出来的图几乎无法区分。第二种是时间表面。把每个像素最后一次触发事件的时间戳记录下来形成一个“最近活动时间”图。它保留了相对时间次序能很好地表达运动方向和速度但空间边缘信息比较粗糙。第三种是体素网格。把时间维度也量化成多层事件按时间戳分配到不同层里再在每层做空间累积。相当于把异步事件流编码成三维张量时间分辨率比累积帧精细很多。我们实际部署时在算力受限的平台上主要用累积事件帧和时间表面的融合形态因为它的计算精度和运行效率平衡最好。你可以把这两者理解成一种妥协既保留一部分时间信息又把计算量控制在嵌入式硬件能跑的范围内。3.2 模型结构双分支融合而不是拼接完事拿到事件张量和帧张量之后接下来的问题是网络结构。我在会上讲得比较直白最差的做法就是把事件帧和图像在通道维度拼接直接喂给一个普通卷积网络。这看起来省事但两类信号的统计特性差异太大了——图像是稠密的二维纹理事件是稀疏的活动区域。强行拼接会让网络训练时非常吃力模型会在两个模态之间互相干扰。更好的方案是双分支结构一个分支处理灰度图像负责外观、纹理、颜色信息另一个分支处理事件张量负责运动、边界、时间连续信息。两个分支在中间某个特征层做融合让外观特征和运动特征在语义层面交互。这种设计在高速目标检测和运动分割任务上明显优于单流拼接。还有一个方向是直接处理原生事件流用稀疏卷积或图神经网络来处理这些非均匀分布的点集。这个方法保留的信息最完整据说精度上限也最高但计算量非常大目前的嵌入式平台很难实时跑起来。我们在项目里更多是把稀疏卷积用在数据中心阶段而非边缘推理阶段先离线验证算法效果再蒸馏成更适合边缘部署的紧凑模型。3.3 数据焦虑事件流没有现成的标注怎么办融合视觉落地中最实际的问题其实是数据。帧数据已经有大量带标注的开源数据集可以拿来做预训练但事件流数据是稀缺品——没有哪个公开数据集有海量的人工标注事件流。做目标检测总不能让标注员对着几百万个事件点画框。我们踩过一条比较成功的路线仿真数据打底加自监督微调。先在事件相机仿真器里生成合成事件流这些数据带完美标注用来训练模型的基础能力。然后用真实传感器采集的数据做无监督适配让模型在真实事件噪声下调整自己的特征分布。特别提一句从仿真到现实的事件域差距比图像域更大因为事件噪声模型很难完全建模适配环节不能省。另一个技巧是用高帧率普通相机录一段视频在离线阶段把视频插帧到很高帧率然后通过光流模拟事件触发规则生成伪事件流来扩充训练数据。这种方法生成的伪事件虽然和真实事件存在一定差异但用于预训练完全够用而且成本低得惊人。4. Demo到量产融合视觉落地途中绕不开的几个问题4.1 时间同步帧曝光窗口和事件时间戳对不上说到具体落地有一段时间我们被时间同步问题折磨得够呛。融合芯片虽然是从同一颗像素里读出的帧和事件但帧有一个“曝光窗口”事件是连续流动的。如果事件和帧在时间上没对齐那么后续的融合算法——比如用事件流来去除运动模糊、或者把事件特征叠加到帧上——效果就会大打折扣。这里面有个容易被忽视的细节卷帘曝光下不同行的曝光起始时间不一样整个画面的不同区域实际对应不同的时间点。如果直接拿整帧图像配一段全局事件流本身就是错的。我们的做法是在读出电路里为帧的每一行都加一个行级时间戳把每个像素对应的事件时间窗口严格限定在该行曝光窗口内。这也让我意识到融合视觉的工程瓶颈很多时候不在算法复杂度而在硬件和软件之间的时序约定。4.2 事件洪峰与噪声门控事件相机进入强纹理场景或者剧烈运动时会产生突发式的大规模事件流我们内部叫“事件洪峰”。如果后端算法处理不过来要么丢事件、要么系统缓冲区暴涨最终导致整体延迟飙升。这个问题纯靠硬件仲裁电路是解决不了的算法层面必须加流量控制。我们做了一套分级门控先通过事件速率统计判断当前场景状态如果事件率异常高就自动调高触发阈值过滤掉一部分低置信度事件同时加大对事件累积帧的空间降采样保证后端处理的负载可控。这样做的代价是部分细小运动的敏感性下降但换来了系统整体时延的稳定在机器人场景里可控的时延比绝对高分辨率更重要。4.3 标定流程融合传感器比普通相机多一个维度多传感器系统都有标定问题融合传感器也不例外。我们首先要标定事件流的内参、畸变参数这跟标定普通相机的流程类似但要用专门的闪烁棋盘格来激发事件。然后是时间轴标定事件时间戳和帧曝光中点之间是否有固定偏移这个偏移随温度和工作电压会发生漂移需要定期校正。我还想特别提一个容易被忽视的问题事件流和帧流在亮度极低情况下会发生分离。事件通路在高增益下噪声大增帧通路因为曝光时间拉长而变得平滑两者的感知差异被放大。所以我们的标定流程里专门设计了一组暗光用例用来测量低照度下事件和帧的响应差异然后把这个差异作为先验补偿进融合算法。没有这一步暗光场景下的事件帧融合会出现系统性偏移。4.4 功耗、带宽与终端算力嵌入式平台的紧箍咒融合视觉芯片的功耗账比很多人想象中复杂。像素阵列功耗、事件仲裁逻辑功耗、帧读出功耗、事件数据接口高速翻转的功耗加在一起并不轻松。特别是事件通路常开的设计让系统无法通过休眠像素阵列来省电必须从其他维度找空间。我们最终锁定了一个非常实用的策略动态调节事件通路的灵敏度。系统处于静态监控场景时把事件触发阈值调高只保留大目标事件大幅降低输出事件率进入高速运动场景时再把阈值调低恢复细节灵敏度。这套策略能让芯片在不同场景下自动切换工作模式相当于给传感器加了一个“注意力开关”很多情况下比单纯压硬件功耗更有效。4.5 良率、一致性与量产教训最后聊一个芯片领域绕不开的话题量产一致性。融合像素电路比普通像素多一套事件电路对工艺偏差更敏感批量生产后的性能一致性控制难度更大。我们曾有一批流片回来部分芯片的事件触发灵敏度和标定值差了百分之三十以上排查后发现是某个偏置电路的电阻阻值受工艺角波动影响过大后来通过调整版图匹配结构和添加内校电路才解决。给所有准备做融合视觉硬件或者用融合视觉做产品的团队一个提醒别只盯着Demo上的漂亮效果看一定要在流片验证阶段就做多批次、多温度的统计测试尤其要关注事件阈值在不同温度下的漂移曲线。这个数据会直接决定你的产品能不能过得了行业应用的严格验收。5. 下一代多模态视觉传感器即感知前台的演进方向5.1 从传感器到感知器件像素内计算的必然性现在阶段HVS融合视觉芯片只是解决了“同时输出帧和事件”这一层问题数据的理解还得靠后端的专用处理器或者通用AI芯片。我可以明确预测下一步的演进方向一定是像素内计算。既然像素已经能够检测事件为什么不能在像素内直接做特征提取、做目标检测的第一层推理这背后的逻辑是带宽瓶颈。事件流再稀疏在复杂场景下依然会产生大量数据把这些数据全部搬到片外处理功耗和时间开销都很高。如果像素阵列本身就能完成一部分特征计算——比如直接在像素内生成兴趣区域、轮廓片段或者速度估计——那么传出芯片的数据量能再压缩一个数量级。这是我们团队正在探索的方向也是我理解的“从成像到感知”的最终形态传感器本身就是感知前台而不是一块光学数据的搬运工。5.2 多模态感知的融合层级会越来越深会场的最后讨论环节有人问到融合视觉是不是只适合机器人领域。我的回答是从应用层级看融合视觉的长期价值在于它能和各种其他传感模态自然结合。用自动驾驶举例融合视觉可以和毫米波雷达融合雷达提供距离和速度融合视觉提供精确的边缘轮廓和色彩语义两者互补。用工业视觉举例融合视觉能够同时保证在高速流水线上的检测率和在静态场景下的识别准确率。未来真正成熟的多模态视觉系统不是把多种传感器简单打包在一起而是在数据表示层就完成对齐和融合。HVS融合视觉恰好提供了一个非常干净的起点帧和事件从一开始就在同一个坐标系、同一个时间基准下产出。5.3 工具链与生态建设是更长期的战场最后我想多说一句现在融合视觉行业最缺的不是更强的芯片而是完整的工具链。开发者拿到一块融合视觉传感器不应该还要自己去写时间同步驱动、事件格式转换器、数据集标注工具和模型蒸馏脚本。这些基础设施的成熟度决定了这项技术能不能从少数团队手里扩散到整个开发者社区。从我们和高校、开发者社区的合作经验来看大家最需要的落地路线是开箱即用的SDK、一套能快速验证算法的仿真器、以及经过验证的预训练模型模型库。这些工作做起来不性感但恰恰是让“下一代多模态视觉范式”真正成为行业标准的关键。如果让我给准备入局融合视觉的开发者一句最实在的建议拿到芯片之后不要急着把过去的模型往上搬。先花两到三周时间摸清楚事件流模态在你自己业务场景里到底能补充什么信息。我见过太多团队把事件流当成一种“更快的帧”来用结果只收获了一堆噪声。真正有价值的用法是用事件流来解决传统帧像“解决不了”的问题——高速运动、极端动态范围、低带宽条件。这些问题的突破才是融合视觉作为下一代多模态视觉范式最核心的存在理由。