机器学习和物理光学的交叉地带这几年冒出了一批非常有味道的工作。我持续跟踪这个方向很久今天想认真写一篇综述性质的开篇围绕“深度光学计算”和它对应的“Inference推理”展开。这个系列第一篇文章我不打算堆术语而是把深度学习为什么非要跑到光学里做推理、光到底是怎么“算”的、真实项目里落地会遇到什么坑一次性讲透。适合正在做光学计算、计算成像、边缘智能硬件或者单纯对AI物理化实现感兴趣的朋友看完之后你应该能建立起一张完整的技术地图。1. 深度光学在推理时代的位置与价值1.1 数字算力的“三堵墙”到底卡在哪里先从一个大家都在感知的事实说起。过去十年神经网络规模的增长速度远超硬件算力的提升速度很多一线团队已经明显感觉到三个硬约束在持续收紧。第一是延迟墙。虽然GPU、NPU的单算子时延一直在下降但数据从内存搬到计算单元、再从计算单元搬回来的过程占据了大量时钟周期。transformer类模型推理时访存开销远大于计算开销这在边缘场景尤其致命。第二是功耗墙。数据中心里芯片功耗密度逐年攀升散热成为比芯片本身更难解决的问题。一个推理请求消耗的焦耳数直接决定了运营成本。第三是带宽墙。模型越来越大片上存储放不下片外带宽成为瓶颈。带宽的单位能效很难再大幅提升因为导线的充放电功耗是物理决定的。这三堵墙有一个共同的本质电子计算机在物理上把“存储”和“计算”分开了而搬运数据这件事本身变得越来越昂贵。此时光学进入视野就非常自然——光在传播过程中天然完成了信息的变换不需要内存也不需要总线。1.2 光学天然能做什么为什么以前没爆发光学系统做计算并不是新概念。上世纪八十年代就有光学矩阵乘法器用透镜做傅里叶变换更是在光学教科书里存在了几十年。那为什么现在才跟深度学习绑在一起核心原因是传统光学计算的设计方式是“先设计光路再输入数据”。系统一旦搭好能计算的函数就固定了。比如一片透镜它对输入光场做的变换是固定的傅里叶变换不可能根据任务需求自我调整。而深度学习需要的恰恰是“可训练的前向模型”——我们希望光路的参数能够随目标任务自动演化。深度光学这个概念真正立住脚是2018年前后出现的一系列端到端光学神经网络工作。它们把光学元件的物理参数比如衍射面的高度图、相位延迟、分束器的透反比全部设成可学习变量用自动微分去优化从而让光路本身变成网络的一部分。以前的瓶颈不在光学硬件而在缺乏一种高效的、能够把物理参数和高层任务目标连接起来的优化范式。深度学习补上了这一环。2. 深度光学的工作机制与核心原理解读2.1 光的线性超能力与非线性缺口要理解深度光学为什么被人寄予厚望得先抓住光计算最核心的物理事实光在做线性运算时速度接近光速而且是天然并行、天然无缓存地处理整个二维空间数据。一个简单的成像系统本质上就是光场在空间中的传递函数这里面包含的信息处理量极其惊人。试想一下一张分辨率为一千乘一千的图像如果转成电子信号做矩阵运算需要百万次乘加但光照射在SLM空间光调制器上再经过一段自由空间衍射这个变换在纳秒量级就完成了。它没有“加载图像”“搬运权重”“写回结果”这种流程输入光场本身就携带数据输出光场的强度分布就是计算结果。这种全连接方式的运算密度在物理层面碾压电子设备。但光学有一个非常要命的短板——天然缺少强非线性。线性系统做矩阵乘法和卷积足够高效但神经网络里没有激活函数就退化成一个线性变换表达能力断崖式下降。这也是深度光学实际架构里几乎都会有“光电混合”痕迹的原因光学做线性运算主干非线性交给光电转换环节的响应曲线来完成或者在数字域补充。理解这个缺口就理解了整个深度光学系统的设计逻辑主线。2.2 把神经网络“装进”光路的两种主流范式深度光学发展到现在主流的架构范式可以归成两类两类我都实际操作过感觉非常不同。第一类是衍射光学神经网络DOE-DNN。它的形态是一串相位调制面光线穿过第一个面时被调制在自由空间衍射一段距离后到达第二个面再调制、再衍射最后落在探测器平面上。每个调制面上的像素高度或相位延迟就是可学习参数。这类系统最大的优势是纯无源——光路里没有任何有源器件功耗几乎为零做出来就是一片片透明的玻璃片。缺点是体积偏大、对齐敏感而且衍射效率受限于加工精度。第二类是基于马赫-曾德尔干涉仪阵列的可编程光计算芯片。它把分束器和移相器集成在硅光芯片上通过调节每个移相器的相位可以编程实现任意二维矩阵变换。这类方案的集成度更高和现有半导体工艺兼容但一个节点就是一个加热器调参速度相对慢而且芯片面积受限于制造良率。两类方案在设计流程上的共性远大于差异都需要把物理参数映射成可微的计算图然后使用反向传播迭代优化。这里有一件反直觉的事——很多人觉得光学神经网络的训练是“模拟光学过程”其实不然训练发生在数字仿真里物理硬件只是最终把学到的参数“固化”出来的载体。3. 推理为何成为深度光学落地第一站3.1 训练和推理的不对称性让逻辑很清晰深度光学系统如果拿去训练会遇到一个死循环训练前向过程需要不断更新参数意味着每一次更新都要重新配置光学硬件而光学硬件的重配置速度比电子慢好几个数量级另一方面反向传播需要的梯度难以在光学域直接获得只能在仿真里计算。所以训练这件事在当前物理技术水平下光学并不占优。推理就完全不同了。推理阶段参数是固定的光学硬件只需要一次性把训练好的权重固化下来然后每一次输入数据过来时光路自动完成计算。这个时候光学系统的优势被完全激活延迟极低、几乎零功耗、吞吐量巨大。打个比方训练像在排练一场戏剧导演需要反复喊停、调整走位推理像正式演出一切自动化进行演员只需各就各位。在实际项目的成本测算中我把训练流程全部放在GPU仿真上跑不管梯度是否对应到真实硬件先用数字模型把参数迭代到理想状态之后只做一次硬件固化。这个思路上很多公开项目的标准做法。它带来的好处是训练效率只受限于仿真精度完全不需要关注硬件抖动。3.2 光学前感加数字后端的混合推理架构我格外喜欢深度光学推理的一个原因是它在系统层面给了工程师大量弹性。理论上最纯粹的方案是“全光学推理”光进来经过一系列无源光学元件光出去就是一个分类结果。但纯光学的方案对探测器读取的阈值判定、输出的动态范围都非常敏感目前还不能直接支撑复杂任务。更稳健的混合架构是光学前端负责特征提取。比如在一个图像分类任务里原始图像直接调制到光场上经过光学系统完成第一层卷积或某种空间变换探测器接收到的就不是原图而是经过预处理的“光学特征图”后端的简单数字网络只需要做一个轻量分类头。这个架构的巧妙之处在于光学前端的特征提取往往是整个网络计算量最重的部分把它卸载到光学域电子后端就变得非常轻松。实际测试中混合架构的端到端精度能够接近全数字网络而系统的功耗和延迟可以降一个数量级以上。从工程角度看这是当前最值得投入的方向。因为它不追求全光化的“终极形态”而是在现有器件条件下拿出真正能落地的方案。4. 深度光学推理的典型应用场景与实验观察4.1 计算成像里的光学域先验深度光学推理现阶段最成功的落地领域之一是计算成像。传统的成像流程是传感器先记录原始光强然后数字算法做去模糊、超分辨率等后处理而深度光学推理把后处理的一部分搬到光路前端让光在到达传感器之前就完成一部分信息整形。这里有一个非常直观的例子。在低光照条件下成像传感器面临的挑战是光子数太少。如果光学前端本身就是一层经过优化的相位掩膜板它可以把不同深度的信息以特定的方式编码到光场上后端只需要一个极简的复原网络就能获得良好图像。我实际搭建过类似的验证系统结果非常惊讶光学前端承担了相当大量的深度聚焦信息提取工作数字端的去卷积算法简单到几乎不需要训练。这个方案对硬件的要求并不苛刻。相位掩膜板的加工是成熟的半导体工艺材料成本也非常低。真正需要下功夫的是训练阶段——需要在仿真器里准确建模真实光路的衍射过程并将噪声模型调教得足够真实否则训练出来的相位板在装到真实系统时会产生明显的性能衰减。4.2 边缘设备的低功耗光学分类另一个我看到商业苗头的场景是超低功耗的边缘识别。一些应用场景对功耗要求极其苛刻比如无源传感器节点、医疗器械一次性检测单元它们甚至连电池都负担不起一个基础的神经网络推理。在这些背景下无源光学分类器就变得极有吸引力。设计过程通常是这样将手写数字或简单目标的分类网络训练成相位掩膜板让透过掩膜板的光在某个特定位置聚焦通过聚焦光斑所在位置判断类别。整个推理过程中系统功耗只来自照明光源如果外界本来就有环境光甚至可以做到零功耗推理。这类系统我做过对比实验四类到十类的基础目标分类完全可行精度能到九成以上。但超过一定类别数后衍射光学系统的串扰问题会显著抬头。在设计时需要非常仔细地规划类别对应的空间位置分布这是一个颇具匠心的手工优化过程和纯数字方案的空间差距还挺大。5. 深度光学推理的常见工程问题与排查心得5.1 仿真精度——最大的坑没有之一深度光学项目里十有八九的性能事故最后追根溯源都能落在仿真器精度不够这个根子上。仿真模型里通常近似了光的传播过程用的是理想波长、理想平面波假设但真实激光器有相干长度限制光源的光谱有一定带宽不同波长的光经过相位元件时产生的相位延迟并不一致。我踩过最典型的坑是这样仿真中性能极好的相位板拿到实物平台上测试性能直接跌回随机猜测水平。排查了很久才意识到问题出在我默认光源是完美的单色平面波而实际上我的光源是一个有一定发散角的激光二极管。解决方案是仿真阶段必须做“数据增强”式的物理扰动给光源加入频谱宽度、给入射角度加入随机偏移、给相位加工高度加入误差容限。把物理扰动量注入到训练过程中学出来的光学参数就有了“鲁棒性”真正架到台子上才经得住考验。5.2 对准与校准的工程魔鬼细节光学系统最折磨人的还有对准环节。多级衍射面之间的间隔距离哪怕偏了一毫米相位延迟条件就会全变。在实验室环境下用手动位移台对准两个衍射面可能需要半天的时间而且环境温度变化后又要重新检查。一个实用的心得是设计系统时尽量在光学结构里加入“冗余对准标记”。有的团队用靶标做预对准但更推荐直接在训练阶段把仿真里的元件位置加一个随机抖动让网络学会容忍位置偏差。换句话说把容差当作一种数据增强来处理这会大幅降低后续装配难度。另外探测器像素和光学元件之间的对齐同样重要。我见过不少团队在这里耗费大量时间却不自知问题在于探测器响应非均匀性没有校准。每条探测器像素链路的增益响应偏差都应当在校准阶段用一个均匀照明场记录下来最后在结果分析中做平场修正。5.3 光学噪声和器件非线性的应对策略光学系统里有两类噪声需要区分对待。第一类是散斑噪声和环境光噪声这类是加性的可以通过优化光路屏蔽、加窄带滤光片、在输出端做背景扣除来抑制。第二类是探测器读出噪声和光子散粒噪声这类在高动态范围场景下尤其麻烦。在训练光学神经网络时应该在优化目标里显式加入噪声模型让网络在噪底上学习。这个方法听起来简单但很多团队一开始会忘掉纯的无噪仿真会让网络过度依赖精细的干涉条纹来区分特征而这些条纹在真实噪声环境中完全失真。把噪声加进去后学出来的相位板会更加“大尺度”即更多依赖宏观能量分布而不是细碎相位编码这样的设计在真实环境中反而更稳定。非线性方面需要特别注意探测器响应的饱和区。仿真里经常假设强度到信号的转换是线性的但真实探测器在强光下会饱和而在弱光下会有暗电流。如果训练时没有约束输出动态范围最后系统会在强输入时彻底失效。我的建议是在仿真输出端加一个软饱和函数再对网络参数做一次后训练校准。5.4 常见问题速查症状可能原因排查建议仿真精度高、实物精度崩盘光源光谱过宽、入射角偏移、加工误差未建模在仿真中注入物理扰动范围训练后验证鲁棒性光斑位置漂移元件间隔不对或温度漂移固定间隔垫片或训练时加入位置抖动分类结果集中在某一类探测器部分区域饱和检查平场校准和动态范围约束重建图像有周期性条纹相干光源产生的散斑噪声增加散射器或改用低相干光源环境光变化后精度大幅下降缺乏背景抑制机制窄带滤光片或输出端增加背景差减6. 对后续内容的一点规划与个人实践体会这个系列开头我特意把重点放在“推理”这个环节上因为在机器学习和光学交叉的所有方向里它是最接近量产和部署的一环。后续文章中我会沿着技术深度继续往下挖聊聊光学神经网络的训练算法改进、像差对光学计算系统的影响届时慢慢展开。在做完深度光学推理的若干实际项目之后我对这类技术有一个比较清醒的认识不要过度美化“全光学AI”的终极想象但也不要低估光学前端带来的巨大工程价值。当前阶段最值得做的事情是在混合计算框架里找出光学最能发挥优势的那个部分——通常是线性运算密集、对功耗敏感的环节然后把它和非线性、逻辑判断能力优异的数字后端生态无缝对接。我也越来越倾向于把光学推理系统当成一个“物理先验嵌入”来思考。它不只是把运算挪了个地方更是把视觉世界的物理规律直接编码进了硬件结构。这一点在成像类任务上尤其明显——光学前端本质上在做一个物理层面的适配这和纯数字域里的特征学习在底层逻辑上有着深刻区别。后续作品展开的评测横评我会用更偏工程的视角给出更扎实的数据结论也欢迎读者带着自己的项目经历来交流踩坑体会。