前阵子帮客户调一套高速膜材表面缺陷检测设备探测器用的是128级CMOS TDI线阵相机新装机时在暗场和均匀光照下看着都还行一旦产线跑起来图像就出现满屏纵向毛刺条纹——有些列明显偏亮有些列偏暗像梳子齿一样压在画面里。我花了整整两天去排查最后发现根子不在镜头、不在机构、也不在光源而是ISP处理链路里一个很容易被忽视的环节列级非均匀性校正与TDI级数配置没有对齐。这个经历让我想把这几年接触TDITime Delay Integration时间延迟积分线阵探测器的经验系统梳理一遍。TDI在工业视觉、卫星遥感、医学扫描等领域用得相当广但很多人做ISP时默认拿它当普通线阵来调结果走了弯路。这篇文章我会从TDI的成像逻辑讲起再把TDI原始信号的特征、ISP管线各环节的作用、调试实战中的参数关系和踩坑过程完整串一遍希望能给准备上手TDI项目的工程师一些参考。1. 为什么偏偏是TDI这颗探测器的存在逻辑1.1 普通线阵和面阵在高速检测场景下先输一局先把探测器家族摆开看。面阵探测器适合拍静态场景或者大目标但遇到连续运动的物体要么缩短曝光时间去冻结运动要么就接受运动模糊。缩曝光意味着信号量下降弱光下信噪比很难看。普通线阵探测器只有一行像素靠物体匀速经过扫描线来逐行成像曝光时间等于物体经过一行所需的时间信号积累窗口天然就短。这两种方案在产线高速、小目标、弱反射场景里都吃亏为了提升亮度只能加光源功率成本和发热都会上来。TDI的思路完全不同它把若干行感光单元组织成一个“积分列阵”物体在移动过程中同一物体点依次经过每一行感光区每一行都产生电荷并同步转移到下一行进行累加。跑完N行就等效累计了N次曝光。你可以把它想象成接力跑——每一棒都落在同一个选手同一个物体点身上最后一起冲线而不是让一个人跑完全程。1.2 多级积分换来的信噪比提升数值上很可观积分级数用N表示常见的有16级、32级、64级、96级、128级高端产品能做到更高。信号幅度与N成正比读出噪声和随机噪声大多只累加√N倍所以信噪比理论上提升√N倍换算成分贝是10log10(N)。64级就有18.06dB提升128级是21.07dB这在中低照度场景下是“不可见”和“可见”的区别。但这有个硬性前提物体运动速度必须和电荷转移速度严格匹配。TDI的本质是“空间积分换时间”如果物体走慢了或者走快了电荷累积的窗口就出现错位等效成把同一个点在不同位置混在一起MTF会下降图像变糊。级数越高对速度匹配越敏感。128级时速度误差超过几个百分点清晰度衰减就非常明显。这也是TDI项目在机械和运动控制上要求比较高的原因。1.3 TDI适用的场景边界TDI探测器不是通吃它的强项是匀速直线运动、光照受控、需要高信噪比的应用工业表面缺陷检测薄膜、纸张、金属箔、面板、印刷品检测、卫星推扫成像、航空摄影、扫描仪和医学数字X光中也有应用。反过来如果物体运动速度波动大或者静止不动的目标TDI的优势就发挥不出来。选型时如果没想清楚这些项目做一半可能就要推倒重来。2. TDI探测器输出的Raw里到底存了什么信号特征2.1 先看原始数据是什么结构TDI探测器输出与传统线阵类似是一行一行的数字Raw数据位深通常是8bit、10bit、12bit或16bit。CMOS TDI往往直接在片内完成部分模拟处理比如相关双采样CDS和列级ADC输出的已经是数字信号CCD TDI则一般输出模拟信号由外部AFE模拟前端完成采样。不管哪种进入ISP的数据都是“带着传感器物理响应痕迹”的原始值。每个像素的Raw值可以拆成几个物理成分暗电流贡献、复位电平/黑电平、真实光电信号、随机噪声和固定模式噪声。TDI会因为多级累积让暗电流也被累加所以同款芯片在同样曝光时间下TDI的暗电平比普通线阵高而且对温度更敏感。这个细节很多人调ISP踩过坑——用普通线阵的默认黑电平去对TDI结果暗场下都是灰蒙蒙的一片。2.2 TDI最典型的两类本底噪声FPN与PRNU固定模式噪声FPN是不随时间随机变化、但在空间上固定的噪声又分像素级和列级。像素级FPN表现为亮点或暗点的盲元、坏死像素列级FPN表现为整列偏亮或偏暗在图像里就是纵向条纹。普通线阵也有column FPN但TDI更严重因为列方向上每一级都可能有增益和偏置偏差累积起来列差异被放大。PRNU是光响应非均匀性指相同照度下不同像素的转换增益不完全一致。第一片硅片生产出来的物理尺寸、掺杂浓度、量子效率都可能有微小差异TDI里是N级累积每一级都贡献响应度所以PRNU也是“累加”出来的同一列所有级的响应度相加形成该列的总响应。这就是为什么TDI图像里最突显的不是散点噪声而是条纹——这颗探测器天生的“列体质”问题。2.3 电荷转移效率CTE带来的拖尾问题TDI的电荷需要沿着列方向一级一级转移每次转移都会有一部分电荷残留或者损失这就是受限于电荷转移效率CTE的效应。CCD TDI的CTE整体较高但高积分级数、高行频下CTE损失会被放大造成拖着“尾巴”的伪影——物体后面跟着一条淡淡的残影。CMOS TDI按像素做累计转移情况略有不同但同样面临转移不理想和时序误差的问题。做ISP的时候很多人会花大力气去消除条纹和噪声却忽略CTE拖尾这种空间特征。CTE拖尾不是随机噪声用频域滤不掉往往只能在传感器选型或级数档位选择上做妥协。这一点建议在项目初期就纳入评估别等图像出来再折腾。3. 为TDI定制ISP管线哪些环节和普通面阵不一样3.1 黑电平校正不能拿普通线阵的经验硬套黑电平校正是ISP管线最靠前的模块负责把无光照时的基底电压减掉。TDI的黑电平有两大特点一是暗电流被N级累加数值明显偏高二是随着传感器温度变化暗电流漂移显著黑电平跟着漂。很多TDI相机在传感器边缘设置光学黑像素Optical Black作为参考ISP通过实时采集参考像素均值来动态钳位黑电平。实操中要注意光学黑区域与有效区域之间可能存在offset偏差不能直接把光学黑的均值当成全图黑电平去减否则图像亮暗分界处会明显发灰。我习惯的做法是先做一次暗场标定——盖上镜头盖或者让光源完全关闭采集多帧求平均得到基准暗场开机后定期更新光学黑参考与标定值做对比发现偏离超过阈值就触发重新标定或补偿。3.2 平场校正与PRNU的配合先分开再合并平场校正是消除光照不均和PRNU的经典手段。操作上采集均匀参考板的图像求各像素响应生成一个归一化校正系数矩阵。但TDI项目里平场图像中的响应不均匀包含了两部分一是光学系统带来的渐晕和光源不均匀二是传感器自身的PRNU。前者和镜头装调和光源位置相关后者只和传感器本级有关。如果一次性混在一起校正后续换镜头或者调光源校正表就得重新采集。更稳妥的流程是分两步先用暗场相减消除DSNU再在均匀光照下采集亮场按列计算响应曲线分离出一维列方向PRNU和二维像素PRNU生成一个可叠加的校正系数表。这个表可以拆成column增益、column偏置、pixel响应三部分分别存下来调参时灵活开关。3.3 坏像素校正TDI里的“亮点”比普通线阵更难掩盖坏像素包括死像素响应极低或无响应和热像素暗电流很大表现为亮点。TDI的多级累积特性会让热像素的暗电流也乘以N所以相同温度下TDI探测器上的热像素往往比普通线阵更亮、更显眼。如果ISP还在做去坏点时只做中值邻域替代很容易留下彩噪或者灰色污点。我建议对TDI的坏点表维护多套至少要区分“固定盲元”和“随温度出现的动态热点”。传感器出厂带的坏点表是基准项目现场还要通过暗场长时间采集用滑动窗口统计每列的暗场均值与方差自动检出动态热列和热像素动态更新坏点表。这个环节做得好TDI图像干净度会上一大截。3.4 列级校准专门对付纵向条纹前面说了TDI的列级FPN和PRNU问题ISP里对应的是列级校准模块。核心思路是按列统计亮暗偏差用一维校正曲线校平。采集方式有两种暗场下采列偏置column offset均匀亮场下采列增益column gain。实际暗场平均可以拿到每列偏差亮场平均可以拿到每列的响应差异两者共同构成校正对。需要注意一个细节列偏置和列增益是互相耦合的。如果只有亮场校正没有暗场校正那暗场下的列条纹依然存在如果只有暗场校正亮场下不同照度响应差异还会暴露。必须两套都做而且校正顺序上先偏置后增益先暗后亮。这也是我前面说校准表要拆分存储的原因——暗场和亮场标定对应不同的物理源不能混在一个文件里。3.5 数字增益、Gamma与锐化的取舍TDI系统信噪比高但高积分级数下电荷累积会压缩动态范围高光容易饱和。ISP的模拟增益不能放太大否则高光区域一片死白。通常做法是低增益高数字增益配合利用Sensor的宽动态读取能力保住亮部细节再用数字增益拉回亮度。Digital gain放大的同时会放大噪声但在TDI本身SNR较高的区域这个副作用可以接受。Gamma曲线对TDI也很关键。工业检测对暗部细节要求高如果按普通相机的sRGB gamma压暗部微小缺陷可能在暗部直接丢失。建议使用可编程的LUT把暗部斜率适当抬高牺牲一点亮部层次换检测率。锐化方面要格外小心。TDI MTF的损失主要来自速度失配和CTE物理层面的问题在锐化阶段只能“补救”不能“修复”。过度锐化会把列校正遗留的小残差变成新的条纹得不偿失。一般我只做轻度的拉普拉斯锐化或非锐化掩模核心还是把前面的物理校准做好。4. TDI模式下的ISP调试实战参数联动与条纹排查4.1 四个参数联动关系积分级数、行频、增益和偏置TDI项目调试时最忌讳单独看某个参数。积分级数N、行频、增益和偏置之间是联动的。行频决定了物体移动速度的匹配范围积分级数决定信噪比和暗电流累积程度增益决定信号放大倍数偏置决定黑电平抬升。调任何一个其他三个都要重新检查一遍。用一个实例说明某项目用8k线宽TDI单像素宽度5微米镜头放大倍率1:1行频设定20kHz。那物体运动速度就是v 5μm × 20kHz 100mm/s。如果想提升信噪比把N从64提高到128暗电流累积翻倍黑电平不再正确需要同步降低增益、调整偏置SNR虽然上去但高光饱和风险增加还要确认光源能量是否足够支持这个行频下的曝光时间。我把常见参数量级整理如下积分级数N理论SNR提升(dB)暗电流累积倍数速度失配敏感度典型使用场景1612.0416低光照充足3215.0532中普通工业检测6418.0664高低照度遥感12821.07128很高微弱信号建议进产线前先把N定下来之后正常生产就不要频繁切换。每次切换级数都意味着校正表、黑电平参数、增益参数全都要重新校验很容易漏掉某一项造成返工。4.2 纵向条纹的完整排查链路一个真实案例复盘回到文章开头的那个膜材检测项目。图像里出现梳子状条纹我按这个顺序做了排查把链路整理出来供参考第一步先确认条纹的性质是固定模式还是随机模式。连续抓取50帧同一静态场景叠帧做平均后条纹依然清晰判定是固定模式噪声排除了光源频闪和随机噪声干扰。第二步做暗场测试——盖住镜头在完全无光条件下采图。暗场图像里条纹仍然存在说明问题至少和光响应PRNU无关偏向列偏置或者说DSNU问题。暗场条纹的幅值在低增益下很微弱高增益下会明显放大。第三步加均匀光照重新采图把亮场均值除以前面的暗场均值做差分。结果发现亮场条纹依然在而且比暗场明显。这说明光响应部分也有问题亮场下每列的增益不一致在叠加。第四步检查校正表。发现这台相机的亮场校正表是在N64下采集的而产线实际配置改成了N128。列响应在级数切换后发生了变化原来64级下测出的校正系数在128级下已经失配。重新在128级下采集暗场和亮场生成新校正表条纹基本消失。这个案子给我的最大教训是TDI的ISP校正表不是一劳永逸的任何影响电荷累积链路的参数变化级数、行频、温度、增益都必须同步刷新校正表。项目调试现场要建立配置管理把“哪组校正表对应哪组参数”管起来。4.3 速度失配的虚焦判断法TDI图像模糊有时候会被误判成镜头对焦不准。区分的办法是拍一张静态靶标列方向看刃边展开ESF边缘扩展函数和LSF线扩展函数看MTF50的数值。如果靶标静止时的MTF50正常但产线跑起来后MTF50下降同时图像里有规则的“整体模糊运动方向轻微重影”特征大概率是速度失配。解决速度失配有两种路径。一是精确测量物体实际运动速度调整行频去匹配电荷转移速度二是如果物体速度本身波动大可以通过外触发或编码器信号同步行频让探测器跟着物体运动同步扫描。后者更复杂但鲁棒性更高。很多工业TDI相机支持外同步模式硬件层面要提前考虑。4.4 光源频闪与TDI曝光窗口的冲突TDI的有效曝光时间等于积分级数N乘以单行时间是一个连续的时间窗口。LED光源如果采用PWM调光频闪频率和TDI的行频、级数之间存在拍频效应图像会显示周期性亮暗条纹这个条纹甚至可能被误认为是探测器响应不均。排查方法不复杂把光源切到常亮状态拍一帧看条纹是否消失。如果消失确认是频闪问题。解决上是让LED驱动器工作在远高于行频的调光频率比如行频20kHz以上调光频率至少要200kHz以上或者在曝光窗口内用模拟调光替代PWM调光。这个坑在低成本的LED光源方案里非常常见建议硬件BOM评审时就提出。5. 从项目复盘看TDIISP最值得提前捂住的三个坑5.1 用面阵ISP的开发习惯直接套TDI面阵ISP的很多默认处理在TDI上并不合适。列级校正、伪影管理、坏点动态检测这些都不是面阵图像处理的默认路径。团队如果直接拿面阵Sensor的驱动和3A算法改TDI图像出来后一定会花大量时间在“消除条纹”和“调整锐化”上事倍功半。我觉得最靠谱的方式是项目选型时就把ISP设计的重心放到“传感器物理特性与运动系统的匹配”上先评估TDI的级数、行频、光源方案再考虑后面的图像增强算法。把校正表、坏点表、速度同步这些内容当成TDI系统的“标准组件”来开发而不是临时补丁。5.2 校正表在实验室做完了产线上却失灵实验室环境是静止、常温、稳定光源产线环境是运动、温度波动、光源有一定衰减校正结果很容易“出门就不准”。比如实验室恒温25度下做的暗场校正产线温度到了50度暗电流变大黑电平偏离图像开始发雾或者产线换了同一批次但照度不同的光源平场校正就不匹配了。对策是设计一套简单的在线自标定流程开机时先拍一段暗场然后拍标准色卡或参考板自动刷新校正表保证每次启动都在当前环境下重新标定。如果条件不允许每次标定至少要定期巡检并且把温度传感器数据关联到暗场补偿算法里。5.3 误把缺陷特征当成噪声去滤工业检测的核心目的是找缺陷但TDI图像里的颗粒噪点、条纹残差和真实缺陷划痕、凹点、污渍的特征经常交叉。如果ISP的降噪强度设置过高细小缺陷会被一起抹掉检测率直接腰斩。反过来如果为了保缺陷不去噪正常的背景纹理又会被当成缺陷误报率大涨。我建议在项目里把ISP模块和检测算法模块做松耦合ISP输出比较中性的图像检测算法里做针对性增强。降噪策略也分区域处理——背景区域可以降噪边缘和疑似缺陷区域保持甚至增强高频信息。这种“各管一段”的思路看起来九次工程都懂真正落地的项目却不多但它对TDI这类高SNR系统的收益非常大。6. 关于调试工具和校验方法的一点个人心得6.1 这类项目推荐备的工具TDI项目调试纯粹用肉眼看图很难定位到列级问题。我会备三类工具一是能实时显示单列波形和列均值的工具方便快速看出纵向条纹的周期和幅值二是可计算MTF50的工具用于量化分辨率变化三是支持采集暗场、亮场数据集合并生成校正表的脚本环境配合Python或MATLAB做离线分析效率远高于纯采图看图的循环。6.2 一个低成本但非常有效的验证方法在调平场校正的时候可以用一台普通的均匀光源板多角度采集几组亮度数据加上暗场数据用线性回归把每个像素的增益和偏置都拟合出来。这样比用单一亮度采集后直接求比的方案更稳因为单亮度比值在饱和点附近会被截断线性模型则能在更宽的亮度范围内保持校正准确。虽然需要多采几帧但TDI项目是产线设备校正一次可以用很久前期花的时间值得。这套方法我在好几个项目里反复用包括那个被条纹折磨了两天的膜材检测项目。最后新校正表烧进去的那一刻画面干干净净连现场客户都觉得惊讶——其实背后没有什么玄学就是把TDI自身需要被理解的那点物理特性一步一步补齐了而已。