市场 AI 热度持续升高端侧 AI 正从概念走向规模化落地。作为端侧领域的从业者我一直在关注业界动态——这个关注过去更多是看热闹现在变成了必须因为外部信号已经密集到不能忽略AI PC 渗透率首次过半、AI 手机中国出货预计 1.47 亿台、AI 眼镜单季同比暴增 776%。这篇文章是我对端侧 AI 的一次系统调研复盘。目的不是罗列新闻而是梳理外部现状与趋势形成自己的判断框架回答三个问题端侧 AI 是真拐点还是概念它的瓶颈在算力、模型还是生态现在关注是不是已经太晚文章目录一、基础概念---端侧AI是什么、为什么重要、怎么爆发的1. 端侧AI的定义---推理在本地完成与云端AI的取舍2. 端侧AI的卖点---低延迟、隐私、离线、降本、个性化3. 端侧AI起步与爆发---大模型芯片压缩三线成熟4. 端侧AI涉及的核心技术---芯片、模型压缩、推理引擎、端云协同5. 端侧AI的主战场与玩家---五类终端与四类玩家二、行业和市场变化---规模CAGR 39.6%三大终端渗透过半2.1 市场规模与增长节奏---2025年3219亿→2029年1.22万亿2.2 终端渗透节奏---AI PC过半、AI手机53%、AI眼镜776%2.3 主流产品指标与卖点---2nm双NPU、300亿MoE、本地大模型2.4 产品布局与市场热点---高通联发科旗舰与五类终端2.5 产业政策---端侧芯片攻关、存算一体、国产化替代三、客户需求挖掘---终端厂商与用户两个层级的痛点3.1 直接客户需求---五类终端厂商的痛点与增值点3.2 终端客户需求---隐私、低延迟、离线、降本、续航四、竞争对手分析---芯片格局、技术路线、生态与供应链4.1 芯片厂商竞争格局---高通联发科苹果与国产三强4.2 技术路线对比---协处理器、存内计算、数据流、开源IP4.3 国产端侧芯片格局---营收高增、恒玄6nm、政策加速4.4 生态竞争---AIOS联盟、RISC-V开源、碎片化突出4.5 供应链竞争---存储涨价、HBM转向、封装散热压力五、信息分析---四个为什么背后的拐点逻辑5.1 关键数据逻辑---四个为什么解释拐点与矛盾5.1.1 为什么 2026 年是拐点5.1.2 为什么能效比取代峰值算力5.1.3 为什么端云协同是长期架构5.1.4 为什么跨设备协同要到 2027–20285.2 谁成功了---高通、联发科、瑞芯微、炬芯的差异化六、发展方向与机会点---挑战指向的方向与机会6.1 主要挑战---五大矛盾制约端侧AI落地6.2 技术演进方向---挑战指向的技术走向6.3 市场机会点---挑战带来的机会空间七、总结---认知刷新与核心结论7.1 五个重要观念的变化7.2 结尾---拐点已在发生竞争在能效比与生态一、基础概念—端侧AI是什么、为什么重要、怎么爆发的在展开调研之前先把端侧 AI这个对象认识清楚。1. 端侧AI的定义—推理在本地完成与云端AI的取舍端侧 AIOn-device AI是指 AI 推理直接在终端设备本地完成——手机、PC、眼镜、汽车数据不出设备。与之相对的云端 AI是推理在云端服务器完成终端只负责上传数据、接收结果。两者的取舍决定了它们各自的适用场景维度端侧 AI云端 AI延迟毫秒级本地响应受网络影响百毫秒到秒级隐私数据不出设备数据要上传云端离线无网/弱网可用依赖网络连接成本一次性硬件投入长期边际成本低按调用量计费高频使用成本高算力受限几 TOPS 到几十 TOPS近乎无限模型规模受内存/功耗约束中小模型为主可跑千亿参数大模型一句话端侧 AI 赢在快、私、离线云端 AI 赢在大、强、快迭代——所以它不是要取代云端而是补上云端覆盖不到的那一块。2. 端侧AI的卖点—低延迟、隐私、离线、降本、个性化端侧 AI 之所以被需要是因为它解决了云端 AI 解决不好的几类需求卖点解决什么问题典型场景代表产品低延迟云端来回一趟就卡实时翻译、语音助手、拍照增强Meta Ray-Ban 眼镜实时翻译、荣耀 Magic端侧智能体即时响应隐私保护个人数据要本地处理不上传政企、医疗等敏感场景华为 Mate 系列端侧盘古大模型数据不出端离线可用AI 功能不能断网就废飞机上、地下车库、信号差Meta Ray-Ban 眼镜离线语音交互降低成本云端调用费高频使用成本高长期高频使用的场景联想 AI PC80% Token 本地处理个性化本地学习用户习惯个人化体验荣耀龙虾智能体本地学习用户习惯这五条是端侧 AI 的存在理由也是后面判断哪些场景是刚需的依据。3. 端侧AI起步与爆发—大模型芯片压缩三线成熟端侧 AI 不是新概念——早就有语音唤醒、人脸识别这类端侧小 AI。但这一轮的爆发是因为三条线同时成熟大模型能力成熟LLM 的推理能力从能用到好用让端侧有了真正智能的可能芯片算力提升NPU 专用加速单元普及几 TOPS 到几十 TOPS 的算力进了手机模型压缩技术量化、蒸馏让几十亿、上百亿参数的大模型能塞进手机内存三条线缺一不可有大模型没算力跑不动有算力没压缩塞不下。三者同时到位端侧 AI 才从能唤醒变成能对话、能推理。4. 端侧AI涉及的核心技术—芯片、模型压缩、推理引擎、端云协同端侧 AI 不是单一技术而是一套技术栈技术是什么作用芯片NPU、SoC含协处理器、存内计算等路线提供算力底座模型压缩量化、蒸馏、剪枝大模型能上端侧的关键推理引擎端侧运行时、算子优化决定模型实际跑多快端云协同框架端侧和云端的分工协同决定系统整体架构要注意的是端侧 AI 的竞争不只是芯片竞争——模型压缩和推理引擎同样关键。同样的芯片模型压缩做得好能跑大几倍的模型推理引擎做得好能快几倍的响应。这是后面信息分析会反复回到的一个判断。5. 端侧AI的主战场与玩家—五类终端与四类玩家端侧 AI 的主战场是五类终端AI 手机、AI PC、AI 眼镜、智能座舱、具身智能参与其中的玩家大致四类芯片厂商高通、联发科、苹果以及国产的瑞芯微、炬芯、芯原等终端厂商苹果、三星、华为、小米、荣耀、联想等模型厂商提供端侧大模型和压缩工具生态联盟开源 NPU 生态、操作系统联盟后面的调研就是沿着五类终端的需求和四类玩家的竞争两条线展开。二、行业和市场变化—规模CAGR 39.6%三大终端渗透过半先看市场本身它有多大、长得多快、哪些终端在放量、厂商在推什么、政策在怎么扶持。2.1 市场规模与增长节奏—2025年3219亿→2029年1.22万亿全球端侧 AI 市场据弗若斯特沙利文Frost Sullivan预测2025 年约 3219 亿元2029 年将达 1.22 万亿元CAGR 39.6%。39.6% 的年复合增长率是典型的拐点式增长——这是一个高复合增长的市场。更关键的是端侧 AI 赛道已经进入业绩兑现期——多家产业链上市公司 2026 年上半年净利润同比增长说明不再是讲故事而是真赚钱了。2.2 终端渗透节奏—AI PC过半、AI手机53%、AI眼镜776%三大终端的渗透节奏是判断拐点最硬的信号AI PC2026 年全球出货预计 1.43 亿台渗透率 55%首次反超传统 PCIDCAI 手机2026 年中国出货预计 1.47 亿台同比 31.6%渗透率 53%CounterpointAI 眼镜2026 年 Q2 全球出货同比 776%Meta 份额 76%IDCIDC 还预测2026 年生成式 AI PC 出货 5000 万台占 PC 19.6%生成式 AI 手机出货 4.32 亿部占手机 39.7%。注意这里有两个口径整机口径的AI PC 渗透率 55%是广义的带 NPU 就算生成式口径的19.6%是狭义的真能跑生成式 AI 的。口径差异背后是AI 功能和AI 能力的区别——很多AI PC只是带了 NPU未必真能跑大模型。2.3 主流产品指标与卖点—2nm双NPU、300亿MoE、本地大模型旗舰芯片这一代的指标能看出端侧 AI 的军备竞赛2nm 制程、双 NPU、300 亿参数 MoE、常开 AI 功耗降低 40%厂商宣传的卖点集中在几个方向本地大模型、跨应用智能体、端云协同、隐私保护。而消费者真正关心的是续航、发热、隐私——厂商推的和用户要的并不完全一致这个错位后面会展开。关注度高的端侧 AI 产品2026 年热点产品品类端侧AI亮点荣耀 Magic 系列AI 手机端侧龙虾智能体简单任务 100% 端侧处理支持跨应用理解与任务自主执行无需联网联想 AI PCAI PC混合式 AI80% Token 本地、20% 云端本地大模型与云端协同兼顾隐私与算力Meta Ray-Ban 智能眼镜AI 眼镜全球份额 76%实时翻译、拍照识别、语音交互眼镜形态轻量随身、抬手即用华为 Mate 系列AI 手机端侧盘古大模型系统级隐私保护敏感数据本地处理宇树 Unitree 机器人具身智能端侧多模态推理实时感知与决策机器人本体即时响应不依赖云端2.4 产品布局与市场热点—高通联发科旗舰与五类终端芯片侧高通第六代骁龙 8、联发科天玑 9600 Pro以旗舰 SoC 卡位指标见 2.3终端侧苹果、三星、华为、小米、荣耀、联想按各自擅长的终端押注AI 手机、AI PC、AI 眼镜、智能座舱、具身智能五条线全面铺开。真正值得注意的是布局上的一个共性转向厂商都在从带 AI 功能走向系统级智能体——荣耀龙虾、华为盘古、联想混合式 AI、Meta Ray-Ban强调的不再是单个 AI 功能而是端侧能自主理解、决策、执行任务的智能体。这也是后文判断哪些玩家能成的一条关键线索。2.5 产业政策—端侧芯片攻关、存算一体、国产化替代政策层面端侧 AI 被明确写进了产业支持方向——最直接的是工信部、国家发展改革委 2026 年 9 月联合印发的《电子信息制造业发展十五五规划》攻关端侧智能计算芯片、高端存储芯片开发近存计算、存算一体等新型架构研发端侧操作系统和芯片使能软件完善推理加速引擎等开发环境国产化替代与供应链安全成为重要方向政策信号很明确端侧 AI 不只是市场行为更是产业安全的一部分。这也解释了为什么后面国产芯片厂商的动作这么密集。三、客户需求挖掘—终端厂商与用户两个层级的痛点市场在放量但真正的刚需是什么从直接客户终端厂商和终端客户用户两个层级来看。3.1 直接客户需求—五类终端厂商的痛点与增值点客户类型核心痛点端侧AI的增值点AI 手机厂商本地大模型运行能力不足、功耗高、发热端侧 NPU 算力提升、能效比优化、端云协同方案AI PC 厂商续航与性能平衡、AI 功能差异化低功耗 NPU、本地推理能力、混合式 AI 架构AI 眼镜厂商重量、续航、算力三者难以兼顾超低功耗 SoC、轻量化模型部署、端侧实时推理智能汽车厂商座舱 AI 体验、智驾实时性、供应链安全车规级 NPU、端侧多模态推理、国产化方案具身智能厂商实时多模态推理、功耗与散热约束端侧 VLA 模型部署、低延迟推理引擎五类终端厂商的痛点各不相同但有一个共性都在算力和功耗/散热之间做取舍——AI 要算力但终端有功耗和散热的硬约束。3.2 终端客户需求—隐私、低延迟、离线、降本、续航终端用户最终消费者的需求更直接需求说明具体使用案例隐私敏感个人数据本地处理不上传手机相册人脸/物体整理、健康数据、企业机密文档本地处理低延迟实时响应云端来回就卡同声传译、语音助手、拍照/录像实时增强成本敏感云端调用费高端侧长期更省每天高频调用的写作/问答助手长期用端侧更划算离线可用无网/弱网也要能用飞机、地铁、地下车库里的离线翻译与语音交互续航与发热不能牺牲续航和手感全天候常开的智能体、眼镜类可穿戴设备注意最后一条用户要端侧 AI 的快、私、离线但绝不要发热、耗电。这条约束直接决定了端侧 AI 的竞争焦点是能效比而不是峰值算力。综合两个层级的需求可以判断优先级低延迟、隐私敏感、云端成本高的场景端侧 AI 刚需最强AI 手机、AI PC、AI 眼镜、智能座舱是当前需求最明确的四类终端具身智能是重要增量但落地节奏晚于消费电子。这个优先级判断是后面分析谁成功和机会在哪的基础。四、竞争对手分析—芯片格局、技术路线、生态与供应链需求明确了再看供给侧的竞争格局——谁在做什么、用什么路线、生态和供应链是什么状态。4.1 芯片厂商竞争格局—高通联发科苹果与国产三强厂商核心方案制程关键指标市场表现高通第六代骁龙82nm300 亿 MoE、NPU 增 Transformer 加速器手机 SoC 份额 23%全球第二汽车座舱 SoC 出货领先联发科天玑 9600 Pro2nm双 NPU、常开 AI 功耗降 40%、多核功耗降 61%手机 SoC 份额 31%连续六年第一天玑系列高端突破苹果A/M 系列3nm/2nm神经网络引擎、端侧大模型高端市场主导自研芯片 系统闭环生态瑞芯微RK182X—支持 3B/7B LLM300 客户项目已量产机器人主控国产份额领先协处理器路线炬芯科技存内计算 NPU—6.4 TOPS/WINT8第二代 7.8 TOPS/W已商业化能效比差异化路线芯原Coral NPU IP—联合谷歌推出面向可穿戴和泛在感知开源生态早期IP 授权模式格局一眼就能看出两条线国际大厂拼制程和生态高通/联发科/苹果国产厂商拼差异化路线瑞芯微协处理器、炬芯存内计算、芯原开源 IP。4.2 技术路线对比—协处理器、存内计算、数据流、开源IP路线代表厂商/型号核心优势成熟度单芯片集成 NPU高通骁龙82nm、300 亿 MoE/ 联发科天玑 9600 Pro2nm、双 NPU成本可控系统集成度高量产协处理器/独立 NPU瑞芯微 RK182X20 TOPS、3D 堆叠 DRAM、支持 3B/7B LLM灵活叠加PCIe/USB 互联量产存内计算CIM炬芯科技6.4 TOPS/WINT8第二代 7.8 TOPS/W突破内存墙能效比突出商业化初期开源 NPU IP芯原 Coral面向可穿戴和泛在感知降低门槛生态开放早期推广数据流架构国产差异化路线同工艺节点能效数倍提升研发/验证存内计算CIMComputing-In-Memory把计算单元直接放进存储器内部数据不用在存储和计算单元之间来回搬运从根上突破内存墙数据搬运的能耗瓶颈能效比可提升数倍。五条路线本质是在回答同一个问题怎么在有限功耗下塞进更多 AI 算力。国际大厂选单芯片集成成本可控国产厂商选协处理器/存内计算/开源 IP差异化突围。4.3 国产端侧芯片格局—营收高增、恒玄6nm、政策加速国产厂商在加速2026 年 Q1 端侧 SoC 厂商营收高增星宸科技49%、全志科技47%、瑞芯微36%恒玄科技推出 6nm 智能可穿戴芯片 BES6100 系列集成 Wi-Fi 6、蓝牙 7.0、多核 NPU 与 GPU政策支持存算一体、近存计算国产化替代加速国产厂商的高增长背后是国产化替代 差异化路线的双重驱动——不是在正面硬拼制程而是在协处理器、存内计算这些细分路线上找机会。4.4 生态竞争—AIOS联盟、RISC-V开源、碎片化突出生态侧的格局安谋科技发起开源 AI 操作系统联盟 AIOS发布周易X3-Pro NPU 架构RISC-V 开源 NPU 生态正在形成谷歌 Coral NPU IP 面向可穿戴和泛在感知降低端侧 AI 门槛但生态的现状是碎片化生态分布主流仍是厂商私有 NPU 生态高通/苹果/华为各自闭环开源生态RISC-V、Coral、AIOS刚起步当前阶段从厂商私有生态向开源 联盟过渡的早期尚未形成统一标准业界应用端侧 AI 应用以厂商自研为主跨平台开发者生态尚未成熟4.5 供应链竞争—存储涨价、HBM转向、封装散热压力供应链的压力是这轮调研里容易被忽略、但影响很大的一条三星、SK 海力士将 80% 以上先进产能转向 HBM高带宽内存3D 堆叠 DRAM主要用于 AI 训练/高端计算挤压移动端存储产能2026 年 Q2 移动 LPDDR4/5 价格较 2025 年 Q4 上涨约两倍DDR5 颗粒现货价半年间由 4.1 美元涨至 24 美元内存短缺与封装散热需求升高正压缩终端部署节奏存储涨价这条直接影响端侧 AI 的落地节奏——模型要上端侧得先有足够的内存放权重内存涨两倍成本压力就传导到终端厂商。五、信息分析—四个为什么背后的拐点逻辑收集完信息这一章开始提炼判断。先回答引言提出的三个问题——前两个问题是不是拐点、瓶颈在哪展开成下面四个为什么第三个问题晚不晚在 5.1 的收尾给出答案。5.1 关键数据逻辑—四个为什么解释拐点与矛盾5.1.1 为什么 2026 年是拐点“端侧 AI 是真拐点还是概念”答案是拐点证据有三条三大终端同时放量AI PC 渗透率过半、AI 手机渗透率 53%、AI 眼镜单季 776%——不是某一个终端热是全线起量芯片、模型、生态三线同时成熟2nm 旗舰芯片量产、300 亿 MoE 上手机、端云协同成为共识市场 CAGR 39.6%这是拐点式增长不是线性爬坡三条证据里第二条最关键——拐点的本质是能跑大模型的芯片和能上端侧的大模型第一次同时到位。之前有芯片没模型跑不了大模型有模型没芯片塞不下2026 年两者第一次碰上了。5.1.2 为什么能效比取代峰值算力“瓶颈在算力、模型还是生态”第一个答案是瓶颈不在峰值算力在能效比。内存墙内存访问能耗可达单次 MAC 运算能耗的 200 倍——算力再高数据搬不动也是白搭散热约束超过六成端侧 AI 芯片在 6W 功耗红线内跑不动 70 亿参数以上模型续航约束端侧 AI 不能以牺牲续航为代价结论很明确每瓦 Token 产出成为核心指标能效比不是更好而是必须。这解释了为什么联发科多核功耗降 61% 能成为卖点为什么炬芯的存内计算 7.8 TOPS/W 值得关注——它们在赌的就是这个能效比的赛道。5.1.3 为什么端云协同是长期架构第二个答案瓶颈也不在端侧 vs 云端的二选一因为端云协同才是长期架构。端侧实时感知、隐私保护、低延迟、离线可用云端算力优势、复杂任务处理、模型迭代联想提出 80% Token 本地、20% 云端荣耀龙虾简单任务 100% 端侧。结论端云不是二选一是分工协同——简单的、隐私敏感的、要实时的在端侧复杂的、要强算力的在云端。5.1.4 为什么跨设备协同要到 2027–2028第三个答案瓶颈还有一部分在生态。端侧 AI 仍是新事物跨厂商协作需要标准和时间高通孟樸判断跨设备智能体协同 2027–2028 才逐步落地生态碎片化NPU 厂商各自为战运行时框架不统一结论单设备推理能力快速就绪跨设备生态仍是瓶颈。所以现在买的AI 手机“AI PC”单个设备能跑 AI但手机和 PC 协同这件事还要等到 2027–2028。回到第三个问题——现在关注是不是太晚。答案是不晚但窗口期只有 12–18 个月。依据正是前面几条的交叉拐点已经发生但渗透率刚过半、AI 眼镜才刚起步赛道还在从 1 到 10的早期尚未固化此时进场仍有卡位机会而跨设备生态要到 2027–2028 才成熟意味着 2026 下半年到 2027 年底是单设备已就绪、生态未固化的窗口期。等生态成熟、格局定型之后再进就只能做跟随者。5.2 谁成功了—高通、联发科、瑞芯微、炬芯的差异化这一节看四个成功样本——它们各自的成功点、为什么成功、以及能借鉴什么。苹果是自研芯片 系统闭环的封闭生态可借鉴性低故不单列。厂商成功点为什么成功可借鉴高通第六代骁龙 8 率先实现 300 亿参数 MoE 手机端落地NPU 架构持续投入 与模型厂商深度合作 生态整合能力端侧 AI 竞争不是单点芯片竞争是芯片 模型 生态的系统竞争联发科手机 SoC 份额 31%连续六年第一天玑 9600 Pro 多核功耗降 61%抓住能效比这个核心矛盾双 NPU 架构 智能体 AI 引擎在正确的时间押注正确的技术路线瑞芯微RK182X 已量产支持 3B/7B LLM300 客户项目选择协处理器路线灵活叠加降低客户采用门槛不是所有玩家都要做旗舰 SoC协处理器方案有明确市场空间炬芯科技存内计算 NPU 能效比 6.4 TOPS/W第二代 7.8 TOPS/W选择非主流路线在能效比上形成差异化突破同工艺节点下架构创新可以实现数倍能效提升看这四个样本会发现一个规律它们都在应对某个挑战——高通应对模型规模、联发科和炬芯应对能效比、瑞芯微应对生态门槛。但它们只解决了部分挑战还有一些挑战是它们乃至整个行业都没解决的。这就是下一章要讲的。六、发展方向与机会点—挑战指向的方向与机会6.1 主要挑战—五大矛盾制约端侧AI落地把前面的信息收拢端侧 AI 面前有五大挑战挑战表现影响内存带宽 vs 峰值算力内存带宽而非峰值算力是端侧推理根本约束选型不能只看 TOPS散热功耗 vs 模型规模6W 红线内跑不动 70 亿参数以上模型模型轻量化是关键碎片化 vs 生态统一NPU 厂商各自为战开发者选择困难生态标准急需建立端侧能力 vs 跨设备协同单设备推理就绪跨设备协同滞后2027–2028 才是生态成熟期需求增长 vs 供应链约束存储涨价、先进封装紧张、散热压力部署节奏被压缩这五大挑战每一条都指向一个明确的方向或机会——下面拆开看。6.2 技术演进方向—挑战指向的技术走向挑战技术演进方向内存带宽 vs 峰值算力存内计算/近存计算突破内存墙散热功耗 vs 模型规模模型轻量化量化/蒸馏/剪枝 端云协同分工端侧能力 vs 跨设备协同跨设备协同标准2027–2028 成熟三个技术方向前两个是现在就能做的存内计算、模型轻量化第三个是等标准的跨设备协同。6.3 市场机会点—挑战带来的机会空间挑战市场机会点碎片化 vs 生态统一开源 NPU 生态、统一标准协处理器方案降低门槛需求增长 vs 供应链约束国产化替代、供应链多元化差异化路线两个市场机会一个是生态侧谁先统一标准谁占先一个是供应链侧国产化替代的窗口。七、总结—认知刷新与核心结论7.1 五个重要观念的变化这次调研修正了我五个观念观念一端侧 AI 的竞争力不在峰值算力而在能效比、内存带宽与生态协同观念二端侧能跑的模型远超预期300 亿 MoE 已上手机量化压缩速度惊人观念三端云不是二选一而是长期协同架构观念四窗口期只有 12–18 个月2026 年已是拐点不能再等观念五竞争力不只取决于芯片参数生态和供应链同样决定成败7.2 结尾—拐点已在发生竞争在能效比与生态回到开头那三个问题端侧 AI 是真拐点还是概念——是拐点已经在发生瓶颈在算力、模型还是生态——在能效比内存墙和生态碎片化不在峰值算力现在关注晚不晚——不晚窗口期还有 12–18 个月一句话总结端侧 AI 的拐点不是会不会来而是已经在发生真正的竞争不在峰值算力而在能效比、场景和生态。参考资料端侧 AI 市场规模2025 年 3219 亿元 → 2029 年 1.22 万亿元CAGR 39.6%弗若斯特沙利文Frost SullivanAI PC / AI 手机 / AI 眼镜出货与渗透率IDC、Counterpoint、Canalys 机构报告手机 SoC 市场份额高通 23%、联发科 31%Counterpoint高通第六代骁龙 8、联发科天玑 9600 Pro 产品信息厂商公开产品信息瑞芯微 RK182X、炬芯存内计算 NPU、芯原 Coral厂商公开产品信息存储芯片价格LPDDR/DDR 涨价、HBM 产能转向行业报告端侧 AI 相关政策芯片攻关、存算一体、国产化替代工信部、国家发展改革委《电子信息制造业发展十五五规划》2026 年 9 月