【编者按】 过去十年人工智能重塑了视觉和语言下一个十年它正在走向物理世界。具身智能、机器人、自动驾驶——所有走进物理世界的智能体都需要一双可靠的”眼睛”。在这场变革中一个低调多年的传感器正在走到台前毫米波雷达。当特斯拉以”光子进入控制输出”重新定义视觉感知时雷达领域也在酝酿自己的答案——“电磁波进入语义输出”。近日承泰科技联合创始人、CTO周珂先生接受了SuperRadar社区的专访系统阐述了他对AI雷达的思考与主张。作为一名深耕雷达行业十年的从业者他的讲述既有技术人的严谨也有布道者的热忱。01 AI雷达 VS 传统雷达问最近AI雷达这个词在行业火了起来在您看来什么是AI雷达它和我们熟悉的传统雷达本质区别在哪里周珂这是一个很好的起点问题因为概念不清讨论就会失焦。一句话概括AI 雷达简单说是 AI 赋能的雷达准确说是支持 AI 模型部署、由模型定义功能的雷达。传统雷达的功能是工程师把人工设计的算法和硬性规则写进固件出厂那天功能就定格了而 AI 雷达的功能是由可以训练、迭代的 AI 模型来实现的并且模型可以部署、替换、持续训练升级这一切都能够由开发者自己来定义。从技术底层看这个区别会更加清晰。传统雷达遵循一条几十年不变的级联信号处理链ADC采样、2D-FFT、CFAR检测、DOA测角、聚类、跟踪、分类一级一级往下传。问题在于每一级处理都是工程师对物理世界的”简化假设”假设目标符合点模型假设噪声服从高斯分布假设多径可以被滤除但真实世界从不按假设运行。每一级都在丢失信息每一级都在引入假设误差这些“简化假设”级联下来就是累积误差和传统雷达能力天花板。AI雷达走的是另一条路让数据自己说话。模型直接从原始信号中学习最优表征信息无损传递、特征自学习、追求全局最优而非局部最优。马斯克的形容是”光子进入控制输出”。AI雷达的答案是”电磁波进入语义输出”。我们不再教雷达”如何看”而是让雷达”自己学会看”。我来做个类比便于大家理解网络领域有软件定义网络 SDN 汽车领域有软件定义汽车 SDV 雷达领域也有过软件定义雷达 SDR 的概念。现在进一步发展为模型定义雷达 MDR Model-Defined-Radar就是我们所说的 AI 雷达叫 AI 雷达更浅显易懂便于理解。AI 模型现在是比较通用的技术AI 雷达引入 AI 模型后降低了雷达开发的门槛AI 雷达把雷达开发从少数算法专家的专业技术变成可以广泛参与的通用技术。02 相互成就 从4D到 AI 雷达问现在行业里4D成像雷达也很热它和 AI 雷达是一回事吗周珂这不是一回事毫米波雷达技术在高速发展短时间内爆发出太多的名词容易让人产生混淆。同时这也是好事说明我们的行业在快速的进步。我的理解是4D成像雷达解决看得清是硬件能力的升级AI 雷达解决看得懂、迭代得快是开发范式的变革。两者不是竞争关系反而相互成就——高清数据为模型提供养料模型让高清数据产生价值。4D成像雷达把路修宽AI 雷达让路上跑起车来。03 软硬件解耦如何打破雷达封闭生态问您刚才反复讲到参与——让更多人来参与雷达的开发。要做到这一点光有模型恐怕不够雷达本身要发生什么变化周珂你抓到了关键点需要软硬件解耦这是 AI 雷达的另一个支柱。软件和模型开发者面向应用需求独立开发硬件交给专业厂家这样就形成了类似 PC 产业的分层分工——在通用硬件的基础上独立开发面向不同场景的应用模型雷达要从封闭生态走向开放生态。过去研发一款雷达产品开发者必须同时具备硬件、软件、射频、算法的能力只有少数企业和科研机构玩得起。软硬件解耦之后不必组建庞大的全领域研发团队不必购置昂贵的射频研发环境更多团队和个人就能参与进来。《周易》讲穷则变变则通通则久毫米波雷达行业走到今天正需要这样一次变。04 天时地利:AI雷达时代已到来问为什么AI雷达直到现在才出现早几年为什么不行周珂因为几股力量直到此刻才真正汇聚到一起。我把它总结为”一个需求牵引三个技术拐点”。需求牵引是物理AI的爆发具身智能、机器人大发展感知需求从”看得见”升级为”看得懂”而跨越这道门槛的钥匙正是AI模型。而且物理AI必然遭遇雨雾烟尘、逆光闪光、透明障碍物这些复杂环境的感知挑战雷达感知的需求是被时代推到了台前。数据拐点雷达感知的高清化,毫米波雷达这几年在探测精度和分辨率上实现了数量级的飞跃点云可以高达每帧数千至数万点真正成为成像雷达单帧数据量已达到激光雷达级别。高清数据是 AI 的口粮——与其用人工算法把信息压缩丢弃不如让神经网络直接从原始数据中学习最优表征。这个基础现在才具备。算力拐点算力拐点同时发生在两端一端在雷达本体雷达自身的内存和算力有了千百倍提升端侧具备了部署AI模型的硬件环境。另一端在系统架构以汽车为例电子电气架构正从分布式ECU走向中央计算加区域控制整车演变成”移动的数据中心”中央计算单元提供数百乃至上千TOPS的AI算力。雷达的原始数据可以通过车载高速网络直传域控大型模型在中央端实时运行。多个雷达节点的原始数据甚至可以相干融合、联合处理实现虚拟孔径扩展与全局优化——这是过去各自为战、算力孤立的”智能雷达”永远无法做到的。雷达终于摆脱了单体算力这个物理枷锁。算法拐点AI技术的平民化以及基础模型证明的跨模态能力。模型能力持续增强、算力成本持续下降PyTorch、ONNX这些开源工具链成熟了训练模型不再是少数机构的特权。同时GPT、ViT、Occupancy Network这些基础模型已经证明了端到端学习在感知任务上的压倒性优势把这些架构迁移到雷达数据域路径已经清晰。需求在牵引数据、算力、算法三个条件同时具备AI雷达也就顺势而生了并且一定是广阔天地、大有作为。05 AI雷达正迎来“ImageNet”时刻问您能否对比视频AI的发展来预判AI雷达的路径这个类比靠谱吗周珂 我认为这是最生动的一个类比。回顾计算机视觉的历史2012年AlexNet在ImageNet竞赛上一鸣惊人那是视觉AI的ImageNet时刻——此后短短十年图像分类、目标检测、语义分割逐一突破直到今天的大模型理解、生成图像。大家看到的是模型突飞猛进但容易忽略两个前提条件一是高质量标注数据的积累ImageNet本身就是这个前提二是工具链的普及让千万开发者能够参与。雷达现在正站在类似的门槛上学术界其实早就给出了很多尝试。卡内基梅隆团队用 100 万帧原始雷达数据预训练出首个毫米波雷达“基础模型”一套模型可微调复用到检测、分割等多种任务证明雷达感知也能走视觉走过的“海量数据预训练”之路谷歌的Soli项目更是把毫米波雷达装进了Pixel手机隔空挥挥手就能操作这两年还有学者用雷达不接触身体就测出了心电信号最近机器人领域的顶级会议上甚至有工作能让自然语言直接指挥4D雷达——你说找到那个正在走路的人雷达真能听懂。这些研究说明雷达与AI结合的天花板远比我们想象的高。但我想强调一句学术演示到产业爆发之间隔着数据、工具和生态。视觉AI的爆发不是因为某一天模型突然变聪明了而是因为千万开发者手里有了数据、工具和平台。这正是承泰想为雷达行业补上的东西。06 更开放的雷达开发模式问具体到开发者AI 雷达的开发形态会是怎样的普通开发者如何切入周珂我们认为 AI 雷达的发展会分为三个阶段或者说三个层次能力逐步深化。初级是点云外置处理雷达通过标准接口输出点云开发者在外置处理器上读取点云训练和部署 AI 模型。这个门槛最低大多数开发者可以从这里切入。中级是模型上机部署开发者直接在雷达内置的计算单元上部署模型点云等数据通过API获取。系统集成度更高、成本更低、实时性更好。这是承泰当前主推的形态。高级是原始信号开放开发者直接通过高速数据接口获取原始雷达信号探索更深入的模型创新比如微动特征、非视距感知这些前沿方向。这面向科研机构和有深度研发能力的团队。生态越成熟走向深水区的开发者越多。就像视觉领域大多数开发者调用成熟的视觉模型少数团队去研究底层架构两者相互支撑缺一不可。07 AI 雷达的核心能力问说得再具体一点AI雷达相比传统雷达性能和能力上到底能好多少周珂我列几个关键维度。1) 信息利用传统雷达只使用人工设计的特征——距离、速度、角度、RCSAI雷达利用原始信号中的全部电磁信息包括微多普勒特征、极化信息、散射中心分布这些传统特征工程永远无法触及的维度信息利用是数量级的提升。2) 角分辨率传统雷达受物理孔径限制也就是瑞利极限AI雷达可以通过超分辨学习突破物理孔径带来数倍的分辨率提升。由此带来一个直接价值小目标检测。传统雷达里小目标容易被大目标的旁瓣和杂波淹没端到端优化可以让雷达在大目标旁边依然看清小目标。3) 输出能力的升维传统雷达输出的是”点目标”——距离、速度、角度AI雷达输出的是”语义实体”。它不会告诉你”这里有一个反射点”而会告诉你”这是一辆正在减速的轿车”不会只说”前方有移动目标”而会说”这是一个奔跑的儿童预计1.2秒后进入车道”甚至能判断”这不是障碍物是被风吹动的灌木丛可以通行”。4)Free Space可通行区域传统雷达告诉你”前面有东西”AI雷达告诉你”哪里可以走”——区分低矮障碍物与路面起伏以避免误刹识别积水、结冰、沙石路面并估计附着系数在完全黑暗或暴雨中绘制可通行走廊。这在传统架构里只能靠后处理推断AI雷达是端到端原生输出。5) 语义 SLAM 雷达开始具备”记忆”它能把雷达回波的纹理特征——护栏样式、路面接缝、建筑立面——编码为语义路标在GPS拒止的环境下实现高精度定位回到同一个地方它能”认出”这个场景调取历史语义地图进行融合还能自动标记施工区域、临时障碍、路面变化让语义地图实时演化。6)工程效率传统雷达调参周期以周计AI雷达数据驱动的训练以天计增加一个新功能过去要重新设计信号处理链现在是新增一个任务头、做迁移学习即插即用。恶劣天气下也是一样传统雷达性能下降、虚警增加数据驱动让雷达对雨雾雪自适应鲁棒性成倍提升。08 物理AI时代来临AI雷达蓄势待发问如果AI雷达充分发展它会给行业带来什么改变周珂我概括为四个方面。感知能力更丰富、更高阶我们刚刚谈到了过去因为硬件能力受限弱信号、离散信号、多次反射信号、杂散信号都被过滤、压缩、丢弃了现在大算力、大内存让这些信号可以被保留、累积、利用所以AI雷达在信息利用上有了数量级的提升可以支持语义输出支持Free Space可通行区域计算、SLAM局部定位和点云建图Occupancy Map占用网格建图。更多的人能参与雷达开发过去做雷达硬件、软件、射频、算法样样都得自己来只有少数玩家。解耦之后开发者专注做模型和应用程序就行硬件交给专业厂家——就像PC产业没有人为了写一个软件去自己造电脑。开发雷达从少数专家的独门手艺变成大众掌握的通用技能这个行业的智力供给会完全不一样。一键部署多场景适用过去雷达应用受限一是能力不够二是开发投入大、周期长很多需求一算账就放弃了。现在技术基础具备了加上雷达全天候工作、直接测量速度、不采集图像天然保护隐私这些特性它是视觉感知不可或缺的补充——在具身智能、工业智能这些浪潮里会有越来越多的需求爆发出来。开发成本和上市周期会大幅下降通用硬件规模化量产成本自然摊薄模型可以复用、可以迭代产品开发从一次性工程变成持续演进产品卖出去了还能通过 OTA 不断升级雷达能力——一次硬件部署长期能力增长。感知更丰富、人才更广泛、场景更多样、成本更低——AI雷达会带来雷达行业新一轮的百花齐放。09 物理AI需要多模态融合感知问您前面几次提到具身智能等物理AI的发展对AI雷达的需求和促进能具体说明一下两者的关系吗周珂分几方面讲。首先讲需求。我们前面说明了一些特殊工况场景雨雾烟尘、逆光闪光、透明障碍物这些场景需要毫米波雷达的全天候能力对响应速度要求高的场景需要毫米波雷达的直接测速能力注重隐私的场景需要雷达的不采集图像的能力。除了这些必须的场景还有一点很重要就是具身智能这类物理AI多数情况是要与人类一同协同工作的这就产生一个非常重要的需求就是安全的需求不能伤人。对于安全的需求有一种方法就是增加感知设备不只是要有摄像头的视觉感知还要增加毫米波雷达等多样性的感知手段就像人类感知世界不只依靠眼睛还要有耳朵、鼻子甚至寒毛这样才能全面的了解外部世界。所以说雷达感知是视觉感知的必要补充。然后讲融合感知。具身智能这样的物理AI都是拥有一个超强算力的中央计算单元。对于人类眼睛和耳朵是感知器官大脑才是负责将感知到的信息统一进行计算处理作出决策的。在具身智能中是一样的摄像头、雷达准确的说是雷达前端单元都是感知单元计算单元是具身智能的中央处理器。也就是感知计算两者是分离的。现在的汽车要支持智能驾驶可以认为汽车也是一种 AI 机器人也是一种物理 AI只是现阶段的 AI 能力重点体现在自动驾驶上。汽车智驾毫米波雷达是必配智驾需求是毫米波雷达的能力取得突飞猛进的进步的最重要原因。在汽车雷达上有一个新名词叫卫星雷达也叫中央计算雷达它就是实现了感知、计算的分离。在卫星雷达架构中前端感知单元将采集到的雷达原始信号准确的说是电磁信号的 ADC 采样数据直接发送给作为后端计算单元的中央域控处理器。中央域控处理器将接收到的雷达原始信号、光学信号做多模态融合感知处理。为什么要多模态融合感知呢说起来也是第一性原理人类大脑是统一处理多个感官的信息的那么物理 AI 中中央计算处理器也要统一处理多个传感器的信息这样才能全面了解外界变化、快速决策处理。我们前面谈到了AI 雷达功能开发上要做软硬件的解耦。这里又谈到AI 雷达功能分布上存在感知和计算的分离。从产品形态上讲如果 AI 雷达需要独立处理信息并给出结果那么它就同时包含前端感知单元和后端计算单元这种产品形态在汽车行业称之为边缘雷达。如果要做多模态融合感知那AI雷达就要做硬件的拆分雷达只保留前端感知单元只负责电磁信号的发送、接收、采样将电磁信号的 ADC 采样数据交由中央计算控制器统一计算和处理这种产品形态在汽车行业称之为卫星雷达。不管是边缘雷达还是卫星雷达只要部署了 AI 模型做雷达信号和数据的处理就是 AI 雷达。承泰是业界第一家量产卫星雷达的供应商已经实现了百万量级的交付。正因如此我们也对AI雷达在具身智能等物理 AI 场景的大规模应用满怀信心。我们还推出了 AI 超级雷达架构和开发平台在硬件上将前端感知单元进一步拆分为天线模块和射频模块实现天线模块、射频模块、计算模块三分离无论是开发边缘 AI 雷达还是开发卫星 AI 雷达都可以基于 AI 超级雷达开发平台进行开发。10 不忘初心 方得始终问作为一家雷达企业你们为什么要如此大力地推动 AI 雷达周珂笑说实话既有理性也有情怀。理性地看我们相信AI雷达必然蓬勃发展雷达结合 AI 模型可以做过去做不了的事情物理AI大发展必然产生大量雷达感知需求需求和方案相互促进。但另一方面我们也确实着急——需求端很迫切供给端却跟不上。雷达研发过去是小众行业参与的力量少传统开发模式难度大、周期长、投入高。这个行业需要一支生力军而 AI 雷达带来的开放生态恰恰能把这支生力军动员起来。情怀地看我在雷达行业做了十年对这门技术有感情。推动 AI 雷达发展是情怀更是行业领军者的责任。我们是长期主义者——既是布道者也是共建者和受益者。我们的收益来自把行业蛋糕做大而不是守卫技术壁垒。生态繁荣了所有参与者都会受益承泰愿意先投入、多投入。11 躬身入局建设AI雷达生态基座问承泰具体是怎么做的周珂三件事。超级雷达开发平台首先是推出适合 AI 模型部署的超级雷达架构和开发平台。我们实现了天线模块、射频模块、计算模块的三分离架构三者独立替换、灵活组合支持 47/157 大算力、4GB/8GB大内存满足模型上机部署的要求不同TR通道数的超级雷达的点云密度可达每帧数千到上万点同时开放SDK、文档与示例支持从点云读取到模型部署的全流程。SuperRadar 开发者社区然后是运营 AI 超级雷达社区——SuperRadar 社区聚合行业内外的力量共建 AI 雷达生态。让行业内、行业外的人士了解 AI 雷达、理解 AI 雷达、投入 AI 雷达同时推动点云数据格式与模型接口的标准化降低生态伙伴的集成与迁移成本——开放必须落到实处才有公信力。AI训练数据集最后是解决AI模型训练面临的雷达数据问题这可能是当前最要害的一件事。今年华南理工大学团队在IEEE IoT Journal发表的一篇综述得出一个判断我很认同毫米波感知的下一个瓶颈不在模型架构而在高质量数据集和标准化评测。没有标注好的雷达数据一切模型都无从谈起。AI时代数据是算法的养料高质量的数据是驱动算法快速迭代升级的必经之路承泰正努力并带动产学研用多方面的力量共同来生产开源的高质量场景化标注雷达数据助力AI雷达迎来ImageNet时刻承泰从两方面入手硬件上我们开发了雷视融合一体机将雷达信号和图像信号共同输入统一计算模块让视频模型辅助雷达数据标注——用视觉的长板补雷达数据的短板软件上我们正在训练自己的雷达数据标注模型实现雷达数据的自动化标注。我们也会基于这些软硬件推出数据采集平台和雷达真值系统通过视觉和雷达融合标注推动数据集的通用化、标准化搭建雷达标注数据开源平台带动各方力量共同参与雷达数据标注为模型训练提供统一的标准数据集提速AI雷达在各行各业的价值落地。英伟达的CUDA依然是AI模型最方便的开发和部署平台。超级雷达基于CUDA工具链可以让雷达信号处理像图像信号处理一样快速方便输出标准雷达数据快速接入AI模型降低开发难度、减少开发周期。未来我们还将推出多厂家、多算力规格的计算单元应用于不同需求的AI雷达。AI雷达会让机器看懂立体的物理世界问如果用一句话展望AI雷达的未来您会说什么周珂视觉 AI 用了十年让机器看懂了平面世界我相信AI雷达会让机器看懂立体的物理世界——全天候、可测速、懂语义。AI雷达的终极形态不是更精确的雷达而是更聪明的雷达。它不再是一台”测量仪器”而是一个”感知智能体”——理解场景、预测行为、记忆地图、适应环境。它让电磁波拥有语义让毫米波拥有智慧。当行业还在争论”激光雷达还是纯视觉”时AI雷达正在开辟第三条道路不是用更多的传感器而是用更智能的传感器不是堆叠硬件而是释放数据的全部潜能。我们希望与更多同行者一起共建AI雷达生态推动AI雷达应用创新AI雷达市场。道阻且长行则将至。本文根据专访内容整理经受访者审阅。