语音交互的体验很大程度由延迟决定。响应在 100 毫秒以内大脑几乎感觉不到等待超过 300 毫秒停顿变得明显对话感迅速流失。人轮流说话的间隔平均在 200 毫秒上下语音助手一旦超出这个窗口就会打断自然的交谈节奏。延迟不是一个数字。厂商口中的端到端延迟可能是完全不同的起点和终点首字延迟从开口说话到第一个识别结果出现的时间通常最短也是宣传页最常引用的数字。定稿延迟一个字从首次出现到不再被改写的时间。识别器要等一小段后续音频才能确认因此一定长于首字延迟。端点延迟说完话后系统判断你说完了并结束本轮的时间。它多半是调参的结果却常常是用户体感延迟里最大的一块。标称200 毫秒内的识别多数只算首字延迟不含定稿、端点、网络往返和缓冲。缓冲本身就是一层地板系统要攒够 100 毫秒音频才处理就有 100 毫秒被设计进了系统。判断一次识别到底慢在哪里要把自己关心的起点和终点先定义清楚。端侧识别能压延迟原因很直接省掉了音频上行、云端排队计算、结果下行的网络往返。在地铁、电梯、儿童房这类弱网或断网场景云端往返时间会成倍拉长本地模型却不受网络影响。代价是模型必须在几十毫瓦到几瓦的功耗、有限的芯片内存里跑完整个识别。于是问题变成两条路把模型做小把推理方式改成边听边算。模型压缩让算力够用模型体积直接决定单次推理的耗时和耗电。端侧 ASR 的主流做法是几种手段叠加。量化最常用把权重从 32 位浮点压到 8 位甚至 4 位整数模型文件能缩小约四分之三内存占用和功耗随之下降。量化越激进压缩越多准确率损失也越大4 位权重量化常见要付出零点几个百分点词错率的代价。重量级模型因此有机会搬上设备十亿参数级的 Whisper 在苹果神经引擎上靠激进量化跑到了实时速度。公开论文里有团队用 4 位量化把端侧流式模型从 2.47 GB 压到 0.67 GB词错率损失控制在 1 个百分点以内。知识蒸馏让一个小模型去学大模型的输出用更少的参数逼近大模型的准确率。剪枝和结构改造裁掉冗余的连接、层和注意力头让模型适配耳机、玩具芯片里有限的 NPU 算力。芯片端也在配合把低功耗的唤醒任务交给 DSP把计算密集的识别交给 NPU待机和识别两种状态下都维持合理的功耗。Apple 团队把 Conformer 流式模型搬上小型可穿戴设备报告了约 0.19 的实时率RTF处理速度相对音频时长的比值快过实时 5 倍以上准确率没有明显下降。模型变小之后单次推理耗时下降这是说话到出字提速最快的来源之一。流式推理边听边出字模型再小如果听完一整句才开始识别延迟也压不下来。流式识别把音频切成小块随说随处理。主流做法是分块系统攒够一小段音频常见 100 毫秒到 200 毫秒就做一次解码边听边出字。这里有一个天生的权衡模型要不要偷看未来几帧。完全因果的模型只看过去出字最快但少了未来上下文同音字、断句容易出错给一点前瞻能提高准确率代价是多等几十毫秒。分块流式 Conformer 的工程实现用因果卷积替换标准卷积、把自注意力限制在左侧上下文就是在出字快和认得准之间找平衡。更新的做法在卷积上做分块因果化既保留左侧历史又拿到当前块内的未来信息在中文数据集上的端到端字错误率可以做到 5% 左右。实时率衡量的是吞吐不是延迟。RTF 0.1 意味着处理一小时录音用六分钟这个数字好看不代表边说边出字快批量转录时没人等现场结果。流式识别真正占延迟的往往不是模型本身。识别器通常要等一小段静音才确认一句话结束这个静音等待是调参决定常常是整个过程里最大的一块延迟。RNN-T 一类的流式模型已能把端点判断并入模型内部让说完和出结果同时发生省掉这部分等待。出字速度和稳定性还对着干字出得越早、越依赖近期音频结果被反复改写的概率越大字幕就会闪。每个延迟参数都是准确率、稳定性和速度之间的一次取舍。放在整个流程里看对耳机、玩具、音箱这类消费级硬件延迟从来不只是识别模型的事。一条完整的语音交互由唤醒、拾音、识别、理解、播报几段组成任何一段掉链子体感都会打折。唤醒词检测本身可以压得很小。公开资料显示有耳机产品把端侧唤醒模型做到不足 400 KB单次推理十几毫秒端到端响应控制在 200 毫秒内比多数云端方案快数倍。翻译耳机更考验编排识别之外还要加翻译和合成具备端侧推理能力的设备能把全程延迟压到 200 毫秒级别实测中也有产品停在 600 毫秒以上差距就出在端侧算力和各环节的衔接上。行业里常见的做法是端云协同端侧负责唤醒、简单指令和离线兜底云端负责大模型理解、翻译和复杂任务由网络状况和任务复杂度决定边界。端侧模型不用承担全部功能可以做得更小唤醒和识别更快云端的延迟在弱网时交给本地兜底。这正是方案商的空间。很多硬件厂商有外观、结构和主控芯片能力缺少的是把识别、翻译、对话、播报串成端到端交互的工程团队。以深圳大拿智能Dana AI为代表的 AI 硬件解决方案商把 ASR、TTS、大语言模型、翻译、设备控制做成一套 AIoT 平台的分层能力底层是基础 AI 能力中间是任务规划和技能调用上层是固件、云端和 App 的落地。耳机、玩具、眼镜、智能笔复用同一套底座唤醒、识别、流式出字、TTS 播报的延迟预算可以统一编排产品上市后还能通过 OTA 持续更新模型和技能。对硬件厂商来说真正要盯的是自己在真实网络、真实端点设置下实测的端到端延迟从声音发出到设备作出反应。把首字、定稿、端点、缓冲分段测量才知道延迟花在了哪里也才知道模型压缩和流式推理各自帮上了多少忙。