傍晚从地库把车开出来太阳恰好横着打进来逆光让驾驶座上的人脸完全变成一个剪影。这时如果靠传统座舱摄像头做驾驶员状态监测基本等于“睁眼瞎”——强光洗掉了所有面部细节红外补光灯在晴天大逆光面前也毫无还手之力。2025 款某旗舰电驱 SUV 把座舱感知方案换成了一套全新的舱内激光视觉单元代号 LiMera。它做的不是简单换一颗更高分辨率的摄像头而是把激光测距和视觉成像融合进同一颗模组用 3D 点云去解决 2D 画面天然缺失的空间信息。这篇文章不聊发布会话术我从工程角度把这套方案的硬件构成、底层原理、量产的标定和实测边界一次讲透适合正在做座舱感知、DMS/OMS 算法或者准备把舱内传感器方案从纯视觉升级到融合方案的工程师们。1. 座舱感知的老问题为什么 2D 摄像头治不好误判1.1 传统 DMS/OMS 方案的能力天花板座舱感知这些年已经不太算新东西了。驾驶员监控系统DMS和乘客监控系统OMS在不少车型上都有最常见的硬件形态就是一颗 RGB-IR 摄像头配合几个红外补光灯安装在仪表盘、转向柱罩或者内后视镜区域。算法层面先把人脸检测框出来再回归眼睛、鼻子、嘴等关键点然后根据关键点的 2D 坐标去推断疲劳状态、视线方向和身体姿态。这套方案的成本确实低单颗摄像头加上红外灯整个模组几十块钱就能下来算法跑在车机芯片的一个小核上也能转得动。但它的天花板也很明显2D 图像本质上没有“距离”这个概念。我举个实际场景你就明白——驾驶员低着头看手机摄像头从上面俯拍下来能看到的是头顶和手机屏幕的光人脸几乎全部被遮挡。2D 关键点在缺了半张脸的情况下只能靠周围像素硬猜于是经常出现两种极端要么判定为“闭眼疲劳”直接误报要么因为置信度太低什么都不报。这个问题不是调参就能解决的因为输入本身就不完整。另一个典型的例子是墨镜。普通摄像头用的可见光波段很难穿过墨镜镜片算法在眼睛区域只能拿到两条黑乎乎的镜片反光。后来大家开始用红外图像做补偿因为近红外波段的穿透能力比可见光强不少至少能看到眼睑轮廓。但到了侧逆光、夜间无红外补光、或者乘客戴着口罩和帽子把特征点大面积遮住时2D 方案的鲁棒性依然会断崖式下跌。1.2 深度信息缺失才是误报的根源我在做杆位测试时统计过一批误报数据发现一个规律大部分离谱的误报都发生在深度信息明显缺失的场景而不是算法模型不够强。比如后排的儿童安全座椅2D 摄像头图像里看到的是一个模糊的、被头枕遮挡的轮廓分类器很难稳定输出但如果有一个 3D 点云视角儿童头部和躯干是有明确体积的检测置信度完全不是一个级别。再比如手势交互2D 骨架对遮挡极度敏感手一旦放到脸的侧面或者被方向盘挡住关键点就飘而点云能把手的轮廓从背景里干净地“抠”出来。为了说清楚差异我把传统单目方案和激光视觉融合方案的实测表现做了个对照参考其在典型座舱场景中的数据能力维度传统 RGB-IR 摄像头Limera 激光视觉单元暗光表现依赖红外补光高光溢出现象明显主动激光扫描基本不受环境光影响逆光强光人脸区域过曝或欠曝特征丢失激光回波与可见光图像互补深度图独立于光照墨镜口罩遮挡关键点大面积缺失置信度低近红外穿透墨镜点云保留头肩轮廓距离感知仅有 2D 坐标深度靠先验猜测每个像素/点都有精确深度值儿童遗留检测小目标识别易漏检点云体积变化直接可测手势识别稳定性遮挡时骨架抖动明显3D 轨迹连续抗遮挡能力强这组对比背后其实是一个很朴素的道理人眼判断一个人是不是在打瞌睡看的是头部姿态、身体姿态和距离信息而不只是脸上一堆像素。传统 2D 摄像头把三维世界强行压成二维图像必然丢失空间关系那上层算法再聪明也只能是在不完整的信息里做概率猜测。Limera 这批方案真正改变的点是让座舱感知从“猜状态”变成“测状态”。2. Limera 的硬件拆解激光器、接收阵列与成像单元怎么共存2.1 一颗模组里装了三套传感系统Limera 这个名字本身就是在说它的融合属性LiDAR 加 Camera。它不是把一颗激光雷达和一颗摄像头简单背靠背绑在一起而是从光学设计阶段就把两者做成一个整体模组。我拆过工程样件里面主要包含四个核心部分一组 VCSEL 激光发射器、一片 SPAD 单光子雪崩二极管接收阵列、一颗同时输出彩色图像和近红外图像的摄像头、以及一颗负责点云生成和图像信号处理的传感器控制芯片。VCSEL 发射器负责主动“打光”但它不是像手电筒那样均匀照亮而是可以工作在两种模式泛光模式和点阵模式。泛光模式把激光均匀铺满整个座舱用来给摄像头补光和基础深度图点阵模式则投射出一张稀疏但位置固定的光点网格通过分析光点在空间里的形变来提升深度精度。两种模式可以快速切换甚至可以在一帧图像里同时完成不会影响实时性。摄像头则同时输出 RGB 彩色图和 IR 红外图RGB 用于表情、颜色纹理和手势细节IR 用于人脸特征提取因为近红外光线对墨镜镜片的穿透效果比可见光好很多。为什么要把激光和摄像头放进同一颗模组而不是分开装在仪表盘和顶棚上核心原因是标定的一致性。如果激光和摄像头位置距离太远两者的视场角度差会很大做点云到图像的像素级对齐时需要处理更复杂的外参矩阵而且车辆长时间颠簸后相对位姿容易发生漂移。把它们做在同一颗模组里出厂时一次性标定好结构件用铝合金固定热胀冷缩的影响也小得多。2.2 为什么激光器选 VCSEL 和 940nm 波长车外自动驾驶用的激光雷达很多用的是 905nm 波长的 EEL 边发射激光器因为这类激光器脉冲功率可以做得比较高探测距离远适合百米级别的车外感知。但座舱内传感器的要求完全反过来不需要远距离只需要中近距离0.3 到 3 米稳定、安全、小型化。座舱内有人眼和皮肤直接暴露在激光照射范围内人眼安全等级是最高优先级的硬约束。VCSEL 的优势在于它是面发射结构可以把一个个激光发射点做成阵列光束均匀性好边沿发散角小驱动电流低。940nm 波长的优势在于避开了太阳光中较强的近红外波段峰值虽然车外场景里太阳背景噪声仍然存在但座舱有玻璃和车顶遮挡环境光干扰被削弱了一个量级。更重要的是940nm 波段落在人眼角膜和晶状体吸收曲线相对安全的区域能在满足 Class 1 人眼安全等级的前提下把功率余量做大。整颗模组的激光发射功率我印象里在 20 毫瓦左右远低于车外激光雷达动辄上百毫瓦的水平但依然足够照亮整个乘员舱。有人会问为什么不直接用结构光方案结构光在短距离、人脸识别这类场景确实精度很高但它的问题是投射图案一旦被物体遮挡就会出现大片的阴影空洞而且对运动物体容易产生伪影。ToF 方案也就是飞行时间测距方案通过直接测量光子往返时间来计算距离对运动物体的容忍度更高帧率可以做到 30fps 甚至更高更适合座舱里乘客不停活动这样的动态环境。Limera 选择的是 ToF 为主、点阵辅助的做法在帧率和 z 轴精度之间取了一个更合适的平衡点。2.3 安装位置与视场设计座舱感知模组的安装位置直接影响感知效果这不是参数表上随便写个“支持全舱覆盖”就能解决的。Limera 在这款车型上的安装位置是挡风玻璃顶端中央偏驾驶员一侧大概在内后视镜基座附近。这个位置的好处是视场中心正好对准主驾座位对驾驶员的头部姿态识别精度最有利同时因为高度足够视场可以延伸到副驾驶和第二排的安全座椅区域一套模组同时承担了 DMS 和 OMS 两种职能。安装位置选在这里还考虑了一个很实在的问题遮阳板。如果模组装在仪表盘上方副驾乘客放下遮阳板后整个上半个视场就会被挡住人脸完全丢失。而挡风玻璃顶端的位置遮阳板翻下来反而不会遮挡模组的视线因为遮阳板位于模组下方。另一个不能踩的坑是不要装在 A 柱或 B 柱附近侧面视角看上去人脸是严重的透视形变点云密度也会因为入射角过大而下降对后续算法非常不友好。3. 底层原理飞行时间测距、点云生成与视觉图像的像素级对齐3.1 ToF 测量的直觉理解ToF 的全称是 Time of Flight原理一句话就能说清发射一束激光脉冲测量它从发射到碰到物体再反射回来被传感器接收到的时间根据光速和这个时间差算出距离。光速大约是每秒 30 万公里座舱里两米的检测距离光子往返一次只需要大约 13.3 纳秒。这个时间极短普通电子学芯片根本测不了所以 SPAD 阵列里的每个像素都是一个单光子探测器内部有精密的时间数字转换电路记录的是光子到达的精确时间。单次发射单次接收很容易受到噪声干扰所以实际工作方式是连续发射多个脉冲把每个像素接收到的光子到达时间统计成直方图再取峰值作为有效时间。这个过程相当于做了一次时间维度的平均去噪。座舱里噪声来源很多玻璃表面的反射、浅色衣服的散射、阳光中的红外成分直方图统计能让这些随机噪声被平滑掉。实测下来这套方案在 0.3 到 3 米范围内的深度精度大约能稳定到 1 厘米左右也就是说你手指离方向盘多远、头向前倾了多少点云都能分辨出来。每一帧点云包含的点数不是全部像素一致根据光照和反射率不同会有波动大致在 2 万到 5 万点之间。你可能觉得和车外激光雷达动不动几十万点相比少了点但座舱感知不需要毫米波级别的环境重建它需要的是稳定的人体轮廓和姿态信息这个点密度绰绰有余。3.2 点云裁剪与 ROI 提取原始点云是全舱范围的三维坐标集合数据量不算大但也不能一股脑丢给上层算法。我在工程里习惯的第一步是“清场”用 RANSAC 算法拟合座舱里的平面比如后排座椅面、前排座椅靠背、地板平面把静态背景点云从数据中剔除。剩下的就是动态目标点簇再通过空间聚类把人、儿童座椅、随身物品分割开。第二步是 ROI 提取。每个座位的区域在模组出厂标定时已经通过空间坐标框定好主驾区域就是一个三维长方体副驾是另一个第二排则分成左、中、右三个区域。算法在对应区域里检索点云密度就能判断座位是否有人、人的体积特征如何。这一步用得好的话可以在运行推理之前就过滤掉大量无效背景让后续的人体姿态估计算法只处理相关区域既降低时延又减少误检。第三步是体素滤波降采样。LiMera 在一立方米范围内可能产生数万个距离很近的点很多点是冗余的。把空间划分为 1 立方厘米的小格子每个格子只保留一个点的中心坐标这样点云密度降下来了但人体轮廓精度几乎不受影响。3.3 点云到图像的投影融合激光点云和 RGB-IR 图像是两个独立坐标系要做融合核心是把三维点云的每一个点投影到二维图像上让每个像素都能同时拿到颜色信息和深度值。这个投影过程需要的参数包括摄像头的内参矩阵焦距、主点偏移、畸变系数以及激光坐标系到摄像头坐标系的旋转平移外参。我放一个我在调试时用过的参数片段方便你理解实际数据结构{ sensor: limera-a1, laser: { wavelength_nm: 940, power_mw: 20, eye_safety_class: 1 }, camera_intrinsics: { fx: 642.31, fy: 641.87, cx: 634.45, cy: 392.18 }, fusion: { ir_align_shift_x: 12, ir_align_shift_y: -3, depth_scale: 0.001, pointcloud_fps: 30 } }内参矩阵里的 fx、fy、cx、cy 是由摄像头镜头光学设计决定的出厂时已经标好。ir_align_shift_x 和 ir_align_shift_y 是我在实际项目里发现的坑——因为激光发射器和摄像头在模组内部物理位置不同即使经过外参校正IR 图像和点云之间仍然存在 1 到 2 个像素的固定偏移这个偏移属于模组级的公差项需要在产线上逐颗校准。如果不处理这个偏移人脸边缘的深度值会有一圈“毛边”疲劳检测里眼睛区域的深度就容易跳变。融合之后的数据流是这样的第一路是 RGB 图像直接交给 2D 人脸检测网络第二路是 IR 图像用于墨镜下的眼睑特征提取第三路是深度图用于 3D 姿态和点云分割。三个模态在时间戳上对齐输出到座舱域控制器。说白了激光负责告诉你“东西在哪个位置、离摄像头多远”摄像头负责告诉你“这个东西长什么样”两者结合才是一个人眼级的三维理解。4. 从点云到功能驾驶员监控、儿童遗留检测和手势交互这样落地4.1 DMS疲劳与分心检测从猜测变成测量DMS 是这套方案最直接的应用。纯 2D 方案判断疲劳主要靠观察眼睛闭合的时长和头部姿态的 2D 投影角。这里的核心问题在于2D 投影角无法区分“低头”和“歪头”因为两种动作在图像平面上的表现可能非常相似尤其当摄像头安装在侧上方时。Limera 的点云输出可以计算出精确的三维头部欧拉角也就是绕三个轴的旋转角度俯仰角、偏航角和翻滚角。等于说算法拿到了一个三维坐标系里的真实头部朝向而不是二维图像里的估计值。具体的疲劳判断逻辑在工程上可以这样设计统计单位时间内的闭眼帧占比再结合头部俯仰角的变化。比如连续三秒检测到头部俯仰角小于负 60 度并且眼睑开合度长时间小于 20%就触发一级疲劳提醒如果车辆持续在高速行驶且驾驶员没有应答提醒升级为声光报警。这套逻辑在二维方案下很难稳定运行因为头部角度一旦被遮挡估出来的数值会剧烈跳动而点云至少能保证头部这个刚性物体存在姿态角不会瞬间漂移。墨镜这个老问题在红外增强和点云的双重加持下也不再是无解难题。940nm 近红外对大部分墨镜镜片的穿透率在 60% 到 80% 之间IR 图像里能清晰看到眼睑区域把这些 2D 信息投影到 3D 点云坐标上就得到了一个带深度的三维眼部状态向量漏检率大幅下降。4.2 OMS 与儿童遗留检测的独特价值儿童遗留检测是最近几年座舱感知里被反复强调的场景背后逻辑很现实夏天暴晒的封闭车厢内温度可以在半小时内升到近 60 摄氏度儿童体感温度上升的速度比成人快得多一旦被遗忘在车内后果非常严重。传统 2D 摄像头在这个场景最大的弱点不是拍不清而是无法稳定区分“一个静止的儿童”和“一个放在座椅上的玩偶或书包”。Limera 的做法是引入体积和微动检测。系统在用户下车锁车后会先保存一帧空车状态下的背景点云模板然后持续监测。如果后排座椅区域出现了新增点云且体积大于某个阈值就判定为遗留物体再测这个点云的微小振动规律儿童的胸廓呼吸运动会引起体表毫米级的周期性起伏通过点云的 z 轴变化可以把这种呼吸信号提取出来。玩偶没有呼吸信号系统就会降低报警优先级或者不报警只发提醒通知而一旦检测到疑似儿童的呼吸信号就触发高分贝报警、车灯闪烁并通过车联网通知车主手机。这个场景里的误报测试特别有意思。我实测过把一条折叠的深色毛毯放在儿童座椅上2D 方案的分类器会间歇性报出“儿童存在”但 LiMera 的点云能看出毯子的表面起伏不具备呼吸节律果断降级处理。反过来一个真正睡着的孩子即使盖着薄毯胸廓的呼吸微动依然能从点云中测出来。这是纯视觉方案很难复现的能力因为它需要精确的深度变化测量2D 算法根本没有深度这个维度。4.3 手势交互、座椅记忆与气囊参数联动手势识别在车内是一个看起来很酷、实际很难做好的功能。难就难在手的关节自由度极高而且经常处于快速运动状态。2D 骨架网络在明亮均匀的光照下表现还行但一到夜间或者手部被方向盘、衣服遮挡关键点就乱跳。点云加持后手的轮廓可以从背景中准确分离出来再配合 RGB 图像里的肤色信息做一个像素级融合手势轨迹的稳定性提升非常明显。具体落地的交互包括手指在触控板区域捏合调节音量、手掌左右挥动切换歌曲、食指向上滑动开启天窗。每一个手势在三维空间中都是一条连续的轨迹向量算法之间用动态时间规整来匹配标准手势模板即使速度忽快忽慢也能保持较高的识别率。座椅记忆也是一个有意思的应用。传统方案是通过座椅电机的电流曲线和位置传感器记住几个设定位置但乘客换人之后容易乱。Limera 可以识别当前乘员的三维体型特征——肩宽、头顶点到座椅面的垂直距离、躯干长度——自动匹配最近的一次座椅位置设定。配合安全气囊控制单元系统还能根据乘员的三维坐姿信息调整气囊展开的力度和方向比如乘员身体前倾时气囊会采用不同的点爆策略。这部分功能对算法精度要求不低但方向是对的把被动安全变成“感知自适应”。5. 量产落地最难的部分标定、自检、热管理与误报压测5.1 出厂标定与售后自检流程把一颗模块做到能在产线上一致性地批量生产比在实验台上跑通 Demo 要难一个数量级。Limera 在产线上的标定主要解决三个问题摄像头的内参、激光与摄像头的相对外参、以及深度随温度漂移的补偿系数。内参标定和普通摄像头类似使用已知尺寸的标定板在固定距离拍摄多帧图像求解焦距和畸变。外参标定则需要同时采集点云和图像让标定板上的角点在两个坐标系中都清晰可见再求解旋转平移矩阵。我做过一批样件的下线数据统计发现最常出问题的是激光和摄像头之间的固定偏移。因为模组内部有一个反射镜结构把 VCSEL 的光偏转到期望的方向反射镜的粘贴公差会直接影响激光坐标系和相机坐标系的相对关系。这个偏差在出厂时如果不校准融合图像的边缘就会出现点云与彩色轮廓不重合的现象。产线解决办法是在标准暗室内用高精度棋盘格标板在 0.5 米、1 米、2 米三组距离下分别采集数据拟合出外参和像素偏移值写入模组内的 EEPROM。车辆每次启动时模组固件会读取这些参数并做一次自检如果发现深度偏移超过阈值会主动上报故障码并屏蔽相关功能而不是带着错误的深度数据继续运行。5.2 功耗与热管理座舱传感器的热环境非常差。夏天暴晒后车内仪表台位置的温度可以超过 85 摄氏度加上 VCSEL 激光器本身在工作时会产生热量SPAD 阵列对温度又很敏感温度升高会导致暗电流增加点云噪点明显变多。工程上必须做三件事导热结构、温度补偿、软件降频保护。散热结构上模组外壳使用铝合金铸件底部通过导热垫片与仪表台的金属横梁接触把热量传导到整车骨架。温度补偿方面模组内部有多个温度传感器固件里存了一张深度偏移补偿表每隔 5 摄氏度记录一组修正系数运行时根据实时温度线性插值。这个补偿表是从一批温度循环实验里拟合出来的实际效果是把 0 到 70 摄氏度范围内的深度漂移从 4 厘米压缩到 1.5 厘米以内。额外还要做的是一层安全逻辑如果温度超过 95 摄氏度系统自动降低点云帧率把 30fps 降到 15fps优先保住基本功能而不是追求最高精度。5.3 误报压测怎么设计才可信上车型项目之前算法要经过一轮又一轮的误报压测。我的经验是不要只拿标定好的标准场景测那样测不出真实问题。要专门设计一个对抗性测试矩阵把容易触发误报的条件全部列出来做“暴力测试”阳光直射、车外霓虹灯频闪、夜间无光、隧道内混合光源驾驶员佩戴不同类型墨镜偏光镜、渐变镜、浅色镜头部被口罩、帽子、头巾、车内宠物遮挡后排摆放玩偶、毛毯、儿童座椅、购物袋、安全帽车窗起雾、贴深色隔热膜、天窗半开我把传统 2D 摄像头和 LiMera 在同一工况下做了对比传统方案在“儿童遗留检测”场景的漏报率大约在 8% 左右Limera 这套融合方案在跑完完整测试矩阵后漏报率降到了 2% 以下。关键不是这个数字本身而是 2D 方案压测试时怎么调阈值都会在某个场景翻车而点云方案因为多了一个物理测量维度阈值调整的容差空间大得多工程上更好收敛。6. 这套方案在未来能长成什么样与座椅、空调、车机 OS 的联动6.1 模组与中央计算单元的分工LiMera 模组本身有计算能力点云生成和底层深度处理在模组内部完成但姿态估计、疲劳判定、手势识别这些高层感知任务不会都塞在模组里而是通过车载以太网发送到座舱域控制器。模组输出的原始数据流大约在每秒 200Mbps 级别包含压缩后的点云、深度图、IR 图和 RGB 图。域控制器上跑的是一套端侧推理引擎可以同时调度疲劳模型、儿童遗留模型和手势模型。这种分工的逻辑和自动驾驶很像传感器负责采集和底层处理域控负责融合和决策。好处是后续 OTA 升级时可以只更新域控里的算法模型不用动模组固件传感器硬件平台提前两到三年做好预埋。车企推这套方案时我印象最深的一句话是“硬件预埋算法可生长”虽然听起来像市场话术但从软件迭代角度看确实是这么做的。6.2 与座椅、空调、香氛和 AR-HUD 的联动当模组能给人脸和姿态打上精确的三维坐标很多事情就能做得很自然了。检测到驾驶员连续打哈欠除了仪表盘提醒还能自动调低空调温度、增加香氛浓度、座椅按摩切换到唤醒模式检测到副驾乘客在后仰睡觉自动调低副驾区域风量并拉下遮阳帘。这些功能单拎出来都不复杂但过去因为感知置信度不够高车企不敢让它去联动执行机构怕误触发。点云方案提供的高置信度让这些联动真正变得可用。AR-HUD 也能从这套感知里获益。眼球跟踪和注视方向判断是增强现实导航的关键前提如果系统实时知道驾驶员的头部姿态和眼球位置就可以动态调整 HUD 投影的视场位置让虚拟引导箭头避开 A 柱遮挡导航转向提示在正确的时间出现在正确的视野区域。这就是把激光视觉单元输出的三维注意力信息真正利用起来。6.3 隐私保护思路与前装成本考量座舱感知最大的隐私争议在于摄像头画面被上传到云端。LiMera 这类方案的隐私优势在于点云数据天然是结构化三维坐标可以在模组内部就完成人体骨架提取只把骨架关键点的三维坐标传给上层原始点云和图像在本地处理完直接丢弃不需要也不应该上传到云端。这样即使数据被截获攻击者拿到的也是一堆没有颜色和纹理信息的坐标点很难还原出可辨识的人脸画面。最后说成本。一颗 LiMera 模组的成本大约是传统 RGB-IR 摄像头的 4 到 5 倍很多人一听就摇头。但你换个角度算传统方案要实现同样全部功能需要仪表盘 DMS 摄像头、后排 OMS 摄像头、手势识别摄像头三路模组加上各自的线束和标定工位成本并不比一颗融合模组便宜多少。而且融合方案在误报率上的收益是纯视觉方案很难追平的。我在实际项目里的体会是这种激光视觉融合方案不该被当作“摄像头的高配版”去理解它更像是一次感知范式的切换。以前座舱算法团队花大量时间在调阈值、补数据、修误报根源是输入模态少了深度这个维度。LiMera 把那个维度补上了后续的问题就变成了怎么把三维信息用得更聪明。如果你正在从纯视觉方案往这类融合方案迁移我的建议是先把点云和图像的像素级对齐做到位再谈上层功能。这一步做不好后面所有 DMS、OMS 的结果都会带着系统性偏差排查起来非常痛苦。