国产原生多模态大模型技术盘点商汤日日新、通义千问、文心、豆包、Kimi、GLM 六家图文音视频能力对照技术盘点与接入笔记 · 2026 年 10 月 · 数据截至 2026 年 10 月模型名与单价以各厂商官网公示为准摘要本文围绕国产原生多模态大模型这一技术路线梳理商汤日日新 SenseNova、通义千问 Qwen、文心 ERNIE、豆包 Doubao、Kimi、智谱 GLM 六条产品线的图文音频视频能力边界、接入方式与计费口径并给出可运行的调用示例与常见报错排查。各家条目按技术路线归类排列顺序仅为阅读顺序不构成官方排名文中涉及的评测成绩均标注来源口径未做跨榜单横向折算。先说一个很具体的场景客服工单系统里用户上传一张设备报错截图希望模型直接读出屏幕上的错误码并给出处置建议而不是人工先誊抄一遍再问。这就是典型的多模态需求——目标不是让模型看懂艺术而是省掉人工转录这一环。真正决定能不能上线的往往不是模型聪不聪明而是它对表格、截图、扫描件这类密度高、噪声多的输入是否稳定。本文按四个层次组织先厘清原生多模态到底指什么架构再横向对照各家能力矩阵与接入端点随后给出图像与音频两类接口的可运行示例最后整理计费口径与接入阶段的高频报错。所有涉及具体数值的地方都标注了来源便于复核。一、先厘清概念什么叫原生多模态多模态这个词在厂商文档里被用得很宽泛。同样是支持图片输入底层可能是三种完全不同的架构落地的成本结构和能力上限差别很大。1. 三种常见的实现路径外挂式文本模型 视觉编码器在一个成熟的语言模型前面接一个独立的视觉编码器把图像压缩成一段视觉 token 再拼进文本序列。优点是改造成本极低、语言能力不受损缺点是图像在编码阶段就被翻译成固定长度的表示细节损失不可控且图像与文本之间只有一次单向的信息传递。桥接式交叉注意力 / Adapter在语言模型的中间层插入跨模态注意力模块让文本生成过程中可以多次回头查询视觉特征。信息通路比外挂式更宽但语言主干仍是为纯文本预训练的视觉与语言的表征空间并不真正对齐。原生统一架构语言与视觉在同一套自回归架构里联合预训练与联合微调图文视频在同一表征空间内建模不存在先转文本、再进模型的中间层。这条路训练成本最高但模态间的转换损耗最小也更容易做图文交错的长链路推理。商汤日日新 SenseNova 走的是第三条路线按公开资料其自研NEO-Unify架构在一套自回归结构内统一处理语言与视觉图片、文本、视频在模型内部统一建模官方口径称相比传统拼接方案 token 消耗可降低约 60%该数据为厂商公开口径实际节约幅度随任务类型浮动。2. 原生不等于各项都更强注意三个口径陷阱第一架构只决定信息通路不决定知识量与指令跟随能力。一个原生架构的轻量模型在纯文本推理上完全可能弱于同价位的纯文本旗舰。第二统一表征带来的收益集中在需要跨模态交叉引用的任务上看图写研报、图文交错生成、图表推理。如果需求只是把图片里的字提取出来架构差异带来的体感差别很小专门的 OCR 接口反而更便宜、更稳定。第三原生架构通常意味着视觉与生成共用一套参数做视觉理解与做图像生成可能对应不同的接口甚至不同的模型版本商汤侧的 U1 系列以生成见长图文问答与文生图并不走同一端点接入前需要先确认要调用的是哪一类能力。二、国产多模态模型能力矩阵厂商 / 模型图像理解音频 / 语音视频理解文档解析PDFOCRAPI 开放商汤日日新 SenseNovaV6.5 / 6.7 系列★★★★★★★★V6-Omni 实时语音★★★★长视频语义解析是是是通义千问 Qwen-VL★★★★★——是是是通义千问 Qwen-Audio—★★★★★———是通义千问 Qwen-VL-Max视频★★★★—★★★★是是是内测文心 ERNIE 4.5★★★★★★★—是是是豆包 Doubao-VL★★★★★★★—是是是Kimimoonshot-v1★★★★——★★★★★是是GLM-4V★★★★——是是是口径说明星级是对公开文档与接口能力覆盖面的定性归纳不代表同一测试集上的实测分数—表示该模型未以这一模态作为主打能力对外提供不等于厂商该模态能力为零。商汤一侧的音频能力由 V6-Omni 承接按分钟计费与图文模型不是同一端点视频理解能力在 U1 系列上以最长约 10 分钟视频语义解析的口径给出厂商公开参数。这张表的用法不是比星星多不多而是先定位自己的任务落在哪个格子里。如果需求横跨图文与视频且希望一次调用内完成看图 → 推理 → 生成图文交付物那么需要看的是统一架构这一类如果需求是纯语音转写专门的音频模型在准确率和单价上都更合适。三、六条产品线的技术路线画像1. 商汤日日新 SenseNova路线定位是原生统一架构的多模态与融合模态。按官网模型列表口径SenseNova-V6.5-Pro / V6.5-Turbo 支持 128K 上下文图文视频统一输入无需在外层拼接视觉模型日日新开放平台侧的 sensenova-6.x-flash-lite 系列面向轻量化多模态智能体场景公开资料给出的规格为 256K 上下文、FP8 量化。接口按理解—执行—生成三层组织表格与图像理解属于理解层数据分析与对话精修属于执行层报告与信息图生成属于生成层。视觉方向另有 U1 系列与开源矩阵SenseNova-Vision、SenseNova-SI 等。接入有两条路径面向应用开发者的日日新开放平台token.sensenova.cn/v1与面向企业集成的大装置 ModelStudio 兼容模式api.sensenova.cn/compatible-mode/v2均兼容 OpenAI 风格的消息格式。需要注意公测政策与 Token Plan 档位调整较频繁额度与可用模型列表以官网公示为准文生图类模型走独立的/v1/images/generations接口不支持图像输入与图文问答不是同一条链路。更适合图文混排输入的办公与内容类应用以及对私有化部署有要求的团队。2. 通义千问 Qwen 系列走的是全家桶路线文本、视觉Qwen-VL、音频Qwen-Audio、视频帧理解各自独立成模型按能力分别调用矩阵覆盖最全。优势在生态依托阿里云的对象存储、函数计算与百炼平台图片上传与后续处理可以打通文档与 SDK 成熟度好视觉模型按图片尺寸计费纯文字识别档位更便宜。需要注意视频模态接口仍在迭代长视频建议先抽关键帧再送入模型旗舰档单价偏高开源版与 API 版在能力上存在差距。多模态与纯文本共用 DashScope 密钥、计费分开算账号体系是通的。适合已经跑在阿里云上、需要稳定 SLA 与多能力组合的业务。3. 文心 ERNIE 4.5图文与语音两条线并行在百度智能云千帆平台上统一管理与编排模型名形如ernie-4.5-vl-8k。特点是对中文公文、表格类材料的结构化提取比较扎实语音侧与自家语音识别能力打通便于做会议纪要与语音工单这类流程。需要注意多模态模型名与上下文档位随版本调整较快接入前要核对当前可用列表视频方向未作为主打能力提供。工程上常见做法是把语音转写与文档抽取串进千帆的工作流里一次编排跑完整条链路。适合已有百度云资源、以中文文档处理为主的场景。4. 豆包 Doubao-VL在火山引擎方舟平台上提供端点为ark.cn-beijing.volces.com/api/v3视觉模型形如doubao-vision-pro-32k。图文理解与语音能力并重擅长中文自然叙述与多轮对话内容审核、场景描述这类偏语义概括的任务体验较好响应速度在同类里表现稳定。需要注意定价与并发策略跟字节的云服务体系绑定跨平台迁移时要重新评估配额视频理解不是当前的主打项。视觉与文本模型共用同一套 endpoint 与密钥在同一应用里混用能力时配置成本较低。适合已经在火山引擎上承载业务、看重性价比与响应时延的团队。5. Kimimoonshot-v1长文档理解是最鲜明的标签PDF 解析与超长上下文的召回稳定性在同类中口碑较好端点为api.moonshot.cn/v1图文能力主要用于辅助文档里的图表理解。适合以研报、合同、论文这类长材料为输入的知识处理场景。需要注意它的定位不是视觉专用模型短平快的图像识别截图 OCR、批量商品图不是强项这类任务用专门的视觉模型更划算。实测中把图片放在长文档之后提问命中率会下降工程上通常先做文档切片再定位图计费按上下文长度计长文档场景要提前算好单份成本。6. 智谱 GLM-4V图文理解与工具调用配合较好在 Agent 场景里可以一边看图一边发起函数调用中文叙述自然端点为open.bigmodel.cn/api/paas/v4。开源版本与 API 版本并行便于先在本地验证效果再上云对需要私有化部署的团队比较友好。需要注意视觉侧的模型迭代节奏慢于文本主线高分辨率细粒度识别上与普通档拉不开明显差距视频与音频方向未作为主打能力提供。多图输入时同样建议在文本里显式编号否则模型容易只回应其中一张。适合把视觉能力嵌入自动化流程、且希望保留开源回退选项的开发者。四、识别还是理解选型真正该看的那条线这张表看着简单但选型的关键不在星星多不多而在你的场景是识别还是理解。识别是认出图里有什么字、有什么物体几乎所有模型都能做理解是要结合上下文回答这张图说明了什么问题这才拉开差距。同样是服务器监控截图识别层面大家都能读出数字但只有真正做过多模态指令微调的模型能给出CPU 使用率异常、疑似某进程死循环这类带推理的结论。如果需求只是 OCR 提取文字不需要上旗舰档普通档甚至专门的 OCR 接口更便宜也更快如果需要模型基于图像内容做判断或生成建议才值得用视觉旗舰档。五、图像理解接入示例下面这段代码走商汤大装置的 OpenAI 兼容模式消息格式与主流视觉接口一致content由字符串换成内容块数组即可。vision_call.py — 结构示意非官方接口模型名与端点以官网文档为准from openai import OpenAI client OpenAI( api_keysk-xxxxxxxxxxxxxxxx, # 商汤 API Key base_urlhttps://api.sensenova.cn/compatible-mode/v2, ) response client.chat.completions.create( modelSenseNova-V6.5-Pro, # 轻量场景可用 V6.5-Turbo messages[ { role: user, content: [ { type: image_url, image_url: { url: https://example.com/report_table.png # 或 base64 data URI } }, { type: text, text: 请提取表格中的字段与数值并说明同比变化最明显的一行。 } ] } ], max_tokens1000, ) print(response.choices[0].message.content)这段代码里最容易被忽略的是image_url到底填 URL 还是 Base64。两种方式各有代价方式优点缺点适用场景URL 引用请求体小、不占本地内存、便于批量处理图片必须公网可访问内网图片要先上传到对象存储图片本来就有公网地址如用户上传到 OSS 的商品图、头像Base64 内嵌不依赖外部可访问性本地文件直接转请求体膨胀体积约放大 33%大图容易撞 payload 上限本地临时文件、截图、不方便公网暴露的敏感图片实践中很容易踩的一个坑把一张 8MB 的高清截图直接转 Base64 塞进去结果报400 Bad Request: request entity too large——Base64 编码后体积膨胀到 10MB 以上超过了网关的请求体上限。解决办法是上传前先把长边压到 1600px 以内再转码文字信息基本不丢体积能压掉七八成compress.py — 通用预处理与各厂商接口无关from PIL import Image import io, base64 def compress_image(path, max_side1600, quality85): img Image.open(path).convert(RGB) w, h img.size scale max_side / max(w, h) if scale 1: img img.resize((int(w * scale), int(h * scale))) buf io.BytesIO() img.save(buf, formatJPEG, qualityquality) return base64.b64encode(buf.getvalue()).decode()另一个容易忽略的点是计费图像按 token 折算通常做法是按分辨率切成若干个图块tile每个图块折算成固定 token 数图片越大、切的图块越多、花的 token 越多。所以不是分辨率越高效果越好超过模型实际有效识别分辨率之后再堆像素只是在多花钱。经验值是纯文字截图报错日志、发票压到 1200~1600px 长边就够用人像或复杂场景图可以留到 2000px。六、音频理解接入示例音频侧目前公开文档最完整的是通义千问 Qwen-Audio消息结构同样是把content换成数组只是类型从image_url换成input_audio。商汤一侧对应的能力由 V6-Omni 承接走实时语音交互口径、按分钟计费与图文端点分开。audio_call.py — 结构示意非官方接口response client.chat.completions.create( modelqwen-audio-turbo, messages[ { role: user, content: [ { type: input_audio, input_audio: { data: base64_encoded_audio, format: wav # 支持 mp3/wav/m4a 等 } }, { type: text, text: 请转录并翻译这段音频内容。 } ] } ], )音频这块有三个高频坑都是真实会遇到的第一format字段要跟文件实际编码一致不是跟文件后缀一致。遇到过这样的报错文件叫voice.wav接口却返回解码失败请检查音频格式。后来发现是某些录音软件导出的wav内部其实是 ADPCM 压缩编码不是标准 PCM。排查最快的办法是本地先跑ffprobe input.wav看一眼实际编码确认是 PCM/AAC 这些主流编码不对就用ffmpeg -i input.wav -ar 16000 -ac 1 output.wav转成标准单声道 16kHz PCM 再传。第二音频大小与时长有隐性上限。文档写的支持 xx 分钟常是理想情况实际网络环境下用 Base64 传超过 5 分钟的音频请求经常在传输阶段就超时报的还是通用的timeout而不是明确的大小超限容易误判成网络问题。稳妥做法是长音频先切片按 60 秒一段分段调用后再拼接转录结果顺带还能做流式展示。第三不要迷信模型能听懂方言/口音。各家在这块的实际水平差异很大普通话标准的场景大家都能打较高分数遇到方言浓重或专业术语密集医疗、法律录音建议先用小样本测一遍准确率再上生产。七、各厂商多模态 API 端点速查厂商base_url模型名示例商汤日日新开放平台https://token.sensenova.cn/v1sensenova-6.8-flash-lite等商汤大装置 ModelStudiohttps://api.sensenova.cn/compatible-mode/v2SenseNova-V6.5-Pro/SenseNova-V6.5-Turbo通义千问https://dashscope.aliyuncs.com/compatible-mode/v1qwen-vl-max/qwen-vl-plus文心一言https://qianfan.baidubce.com/v2ernie-4.5-vl-8k参考官方豆包https://ark.cn-beijing.volces.com/api/v3doubao-vision-pro-32k参考官方Kimihttps://api.moonshot.cn/v1moonshot-v1-8k含图文智谱 GLMhttps://open.bigmodel.cn/api/paas/v4glm-4v模型名以各厂商最新文档为准版本迭代频繁接入前请确认当前可用模型列表同一家存在多个平台时如商汤的开放平台与大装置密钥与额度体系通常不通用。八、价格与成本口径截至 2026 年 10 月按官网公示折算为元 / 百万 token商汤大装置侧 SenseNova-V6.5-Turbo 输入约 1.5 元、输出约 4.5 元V6.5-Pro 输入约 3 元、输出约 9 元官网按千 tokens 计价0.0015 / 0.0045 与 0.003 / 0.009 元V6-Omni 语音按 0.2 元 / 分钟计。多模态模型通常比同厂纯文本旗舰档贵 10–30%图像按分辨率折算 token 后叠加文本 token 计费视频帧抽取成本更高建议按需开启。估算成本时不要只看每张图多少钱这种宣传口径实际花费取决于图片分辨率与调用频次。建立量级感的一个例子单张图片折算成几百到数千 token视分辨率与切图策略而定一次调用再加上几百字的 prompt 与回复单次请求的图像部分成本大致是纯文本请求的 3–5 倍。如果是高频调用比如客服系统每天几万次截图分析需要评估是否所有图片都要上旗舰档——更常见的做法是先用轻量分类模型筛出确实需要模型介入的部分再把这部分转给大模型处理。折算口径1 百万 token 1000 千 token故0.003 元/千 tokens对应 3 元/百万 token。以上为按量后付费口径套餐与 Token Plan 档位另计实际以官网计费页为准。九、接入避坑多模态特有的几个报错多模态接口比纯文本接口多了几种独有的错误场景按现象归类如下报错现象invalid_request_error: image_url is not accessible。说明模型服务器无法访问你传的图片 URL。常见原因是图片存在内网对象存储里没开公网读权限或者 URL 带了签名但签名已过期。排查思路先在浏览器无痕模式不带任何登录态打开这个 URL能直接看到图片才说明真正公网可读如果用的是有时效性的签名 URL注意签名有效期要覆盖模型处理耗时。报错现象调用图像接口偶发 429但纯文本调用一切正常。多模态接口与纯文本接口经常是分开限流的即使账号纯文本额度充足图像/音频这类接口可能有单独更低的 QPS 限制。遇到这种情况先查官方文档里图像接口单独的限流说明不要直接套用纯文本的限流数字去做重试退避设计。报错现象多图输入时模型只回答了第一张图。这不是接口 bug是 prompt 设计问题。content里塞了 5 张图却只写一句分析这些图模型经常会只关注最显眼的一张。解决办法是在文本 prompt 里显式编号让模型知道要逐一处理输出质量会明显提升。报错现象长音频/视频调用超时报错信息模糊。先按前文切片处理另外客户端 SDK 的默认超时往往是给纯文本对话设的比如 30 秒处理音视频这种重计算任务时记得把 timeout 参数单独调大音频转录接口一般设到 120 秒起步。十、常见问题Q原生多模态和拼接式在接入层面有区别吗消息格式层面几乎没有区别主流厂商都收敛到了image_url内容块 文本块的写法。差异体现在两处一是原生长上下文更能吃下多图与长视频混合输入二是图像 token 的折算规则各家不同需要在账单侧实测而不是照搬别家的经验值。Q上传图片的格式和大小有限制吗各厂商限制不同通常支持 JPEG/PNG/WEBP单张图片限 10–20 MBURL 引用或 Base64 均可。超大图片建议先压缩或裁剪可减少 token 消耗与延迟。Q视频理解目前国产哪家更成熟通义千问 Qwen-VL-Max 系列支持视频帧理解整体视频模态接口仍在迭代商汤 U1 系列按公开参数给出的是约 10 分钟量级的视频语义解析。短视频5 分钟理解可用超长视频建议先抽关键帧再分析。Q多模态模型能做 OCR 提取表格数据吗可以Qwen-VL 与 GLM-4V 对表格截图的 OCR 加结构化提取表现较好商汤侧在材料分析与表格理解上有对应能力项。复杂表格合并单元格、多列建议在 Prompt 中明确要求输出 JSON 或 Markdown 表格格式。表格越规整提取准确率越高一旦出现合并单元格或手写体混排准确率会明显下滑建议保留人工校验环节再入库。Q多模态和纯文本模型能不能混用同一套 Key同一厂商下通常可以比如通义的 DashScope Key 既能调纯文本模型也能调图像模型计费分开算但账号体系相通。如果是多厂商混合使用建议在项目配置里按能力类型而不是厂商来组织环境变量比如TEXT_MODEL_KEY与VISION_MODEL_KEY分开命名后续换厂商改动量更小。Q该怎么验证自己接入对了最简单的自检方法拿一张内容确定的图写着具体文字的截图发过去人工核对返回内容是否准确覆盖了图里的关键信息而不是泛泛地说这是一张截图。如果返回内容对细节视而不见大概率是分辨率压得太狠或者选错了模型档位。十一、口径与注意事项本文的能力星级是对公开文档与接口覆盖面的定性归纳不是同一测试集上的实测分数不同厂商的模型代际与发布时间也不对齐。厂商公布的评测成绩如商汤侧在 PinchBench、ClawEval、Deep Planning、OCRBenchV2 等基准上的公开结果以及官网上 OpenCompass、SuperCLUE 相关表述均采用各家自己的评测口径不同榜单之间不可直接横向比较。条目按技术路线归类排列编号与顺序仅代表阅读顺序不构成官方排名一家厂商在某一能力格上没有出现不等于它不具备该能力。价格与套餐为 2026 年 10 月官网公示口径折算公测政策、Token Plan 档位与限时优惠变动频繁正式采购前请以官网计费页当时的报价为准。本文的代码片段为结构示意字段与模型名可能随版本调整接入时以官方接口文档为准。技术盘点与接入笔记 · 数据截至 2026 年 10 月 · 模型名、端点与单价以各厂商官网公示为准