文章目录Agent 一个字都不会想它的聪明全是按 token 租的先说结论Key 不是钥匙是记账凭证一次调用到底发生了什么为什么凭一个 Key 就有这么大能力Agent 是整车框架在调用外面包了什么账单和边界也得看清楚回到那把钥匙Agent 一个字都不会想它的聪明全是按 token 租的写过代码的人几乎都经历过这个瞬间环境变量里放一个OPENAI_API_KEY十几行 Python你的程序忽然会写邮件、会读文档、会拆解任务了。没下载过模型没装过显卡机器还是那台机器——凭什么不少人到这里就停住了把 API 当成一个模糊的黑盒接口用。但这个问题值得拆开看这把 Key 到底是什么、打开了什么为什么这么薄的一层接口能力却强得反直觉。搞清楚这两层你对 Agent 的理解会从会用变成看透。先说结论Key 不是钥匙是记账凭证一个常见的误解是API Key 里藏着模型或者 Key 换来了模型的某种副本跑在你机器上。都不是。真相是大模型一个字节都没有离开服务商的机房。几万亿参数的权重文件躺在那边的存储上推理跑在成千上万张 GPU 组成的集群里。你手里的 API Key 只是一张凭证作用有三层身份告诉服务端这是谁的请求计费把这个请求产生的 token 消耗记到你账上权限划定你能用哪些模型、每分钟最多调多少次、传多少 token。三层作用叠在一起Key 的本质就清楚了你手里拿的不是模型是一张租用算力的会员卡。每次调用你都在用几秒钟的服务商集群跑一次万亿参数的推理。Agent 的聪明不是它自己长出来的是按 token 租回来的。一次调用到底发生了什么把黑盒打开Agent 调用大模型本质上就是发一个 HTTPS 请求。去掉细节后大概长这样fromopenaiimportOpenAI clientOpenAI(api_keyYOUR_API_KEY)respclient.chat.completions.create(modelgpt-5,# 用哪个模型messages[# 对话历史全量传入{role:system,content:你是一个任务规划助手},{role:user,content:帮我把这份周报整理成三条要点},],)print(resp.choices[0].message.content)# 模型生成的文本SDK 底下就是一次普通的 HTTP POST请求里两样东西最关键Headers 里的Authorization: Bearer YOUR_API_KEY网关靠它验明正身、开始计费各家写法略有差异比如 Anthropic 用的是x-api-key请求头作用一样Body 里的messages数组——你发给模型的全部输入。注意一个反直觉的细节messages里装的是完整对话历史Agent 循环每转一轮都要把之前所有轮次原样再传一遍。原因上一篇讲过——大模型是无状态函数它不记得任何一次调用。你感觉到的它记得我们刚才聊了什么是 Agent 框架替你把历史拼接、裁剪后重新塞进请求的。所谓上下文管理管的就是这个不断变长的数组它直接决定账单和上下文上限后文算成本时还会回到这里。请求到达服务端之后链路是这样的API 网关先验 Key身份对不对、余额够不够、有没有超过速率限制。过了这关请求才被放行。推理集群接手。输入文本先被切成 token模型眼里的最小单位然后进入两个阶段prefill一次性并行处理完你给的全部输入decode再一个 token 一个 token 地往外生成每生成一个新 token都要和前面所有 token 做一次注意力计算。KV cache 会把前面的中间结果缓存下来、避免重算但缓存要吃显存注意力开销也随长度增长这就是为什么输出越长越慢、越长越贵。顺带一提prefill 的结果可以按前缀缓存后文讲到的 prompt caching 省的就是这笔钱。流式返回。生成不是憋到最后一次性给你而是通过 SSEServer-Sent Events边生成边推流。SSE 是一种单向长连接协议服务端每算出一段就立刻推一段。你在 Agent 终端里看到文字一段段吐出来不是打字机特效是真的生成一个给一个。整个过程你的机器只干了两件事发字符串、收字符串。为什么凭一个 Key 就有这么大能力接口这么薄能力却这么厚落差来自三件事。一是接口极简薄到任何程序都能接。大模型 API 的主干输入输出就是纯文本协议就是 HTTP JSON图片、音频这类多模态输入也是先在服务端编码成 token 序列再走同一条链路。你不需要懂 Transformer不需要懂推理框架会发 HTTP 请求就会用大模型。这种文本进、文本出的通用接口意味着从浏览器插件到 Excel 脚本从树莓派到工作流平台只要能收发字符串就都能接上同一个模型。能力没有变弱门槛降到了地板上。二是重资产全在服务端你租的是结果不是设备。训练一个旗舰模型的算力成本以亿美元计推理集群动辄上万张 GPU这些都没有摊到你头上。放在几年以前要让程序会想你得下载几十上百 GB 的模型权重、配好 CUDA、自己租 GPU 跑推理现在一行pip install openai就完事。这和电网的逻辑一样你按一下开关家里就有电不是因为家里有发电机而是电网把电厂的能力送到了你家插座上。API 就是这个时代的电网Key 就是你墙上的插座。你为一个 token 付的钱买的是整条产业链摊薄之后的那一小份。三是模型输出能直接变成动作。前两条解释了为什么接得上这一条解释了为什么能干活。2023 年开放、2024 年起成为各家模型标配的 function calling让模型可以被约束成稳定输出结构化的 JSON——调哪个工具、参数是什么格式固定、机器可直接解析。Agent 框架拿到这份 JSON 去真执行再把结果塞回下一轮请求。正是这个文本 → 结构化参数 → 真实动作的闭环让一个只会输出文字的函数变成了能订机票、改代码、跑数据的系统。Agent 是整车框架在调用外面包了什么串起来看Agent 主循环里每一个思考步骤落实到底就是一次上面这样的 API 调用。Agent 框架LangGraph、各种 Coding Agent、工作台型产品做的全部事情是在调用外面包工程拼装 prompt 和 system 指令把任务描述、工具列表、历史记录组织成messages解析返回的 tool call分发执行把结果回填管理上下文长度——历史太长要压缩、裁剪不然要么报错要么账单爆炸处理失败限流了退避重试格式坏了重新要一次。模型 API 是发动机Agent 是整车Key 是供油管。管子细不代表油量小上一节说的三件事保证了你拧开任何一个 Key接通的都是同一条粗管道。账单和边界也得看清楚能力是租的有几条租赁条款同样值得记住输入输出都算钱历史反复计费。Agent 多轮循环会把同一段历史重新计一遍上下文越长、循环越多成本涨得越快。prompt caching 能省下大头。重复的输入前缀按缓存价计费Anthropic 命中部分约为原价一成首次写入缓存会加价两成五左右OpenAI 约为五成Agent 框架基本都默认开启。具体价格以各家价格页为准别用记下来的旧数字做预算。速率限制跟着账户等级走。免费档和付费档分钟级请求数差得很多跑批撞限流是常事代码里要有退避重试。上下文窗口有上限。长任务必须在框架层做记忆管理这是 Agent 工程的核心问题之一Key 解决不了。Key 泄露等于钱包敞开。拿到 Key 的人能用你的额度跑他的活。Key 进环境变量或密钥管理服务绝不进代码仓库这是用 Key 的第一条纪律。回到那把钥匙一个 API Key 看起来很寒酸只是几十个字符的一串文本。但它背后是这个行业把最贵的东西——万亿参数的模型、上亿美元的训练、成千上万张 GPU——封装成一段文本进、一段文本出的努力。接口越简单封装越厚重。理解了这层Agent 就不再神秘它没有什么玄学只是一个把 API 调用嵌进循环、再往外面包上工具和记忆的工程系统。聪明是按 token 租的账单也是按 token 算的——把这两件事放在一起看你就同时理解了 Agent 的能力从哪来、边界在哪。这篇是Agent 拆解系列的第二篇。下一篇我们拆它的记忆为什么 Agent 聊着聊着就失忆了——上下文和记忆的原理比这篇更反直觉。觉得有收获的话点个在看更新第一时间到你时间线。参考资料OpenAI API 快速入门与认证方式https://platform.openai.com/docs/quickstartChat Completions 接口与流式返回https://platform.openai.com/docs/api-reference/chatPrompt caching 计费规则https://platform.openai.com/docs/guides/prompt-cachingAnthropic API 概述消息接口与 token 计价https://docs.anthropic.com/en/api/overviewFunction calling / 工具使用https://platform.openai.com/docs/guides/function-calling