DeepSeek Agent Harness 2026终极指南 - 第14章第63节 性能优化连接池、预热与并发调用第13章 MCP 收官了工具生态接入完毕。但同样的功能高手写出来更快更省——性能优化是 Agent 从能用到好用的一道坎。这节进入第14章高级实战先做性能优化HTTP 连接池复用、API 预热、并发调用与限流、首 token 延迟优化附优化前后的实测对比数据。本文导航性能的三个瓶颈HTTP 连接池复用API 预热连接握手提前做并发调用与限流首 token 延迟优化完整实现performance.py实测优化前后对比小结性能的三个瓶颈Agent 的性能损失主要来自三个地方瓶颈现象原因连接开销每次调用都慢每次请求重新握手TCP TLS串行等待多个任务一个等一个没并发IO 时间被浪费首 token 延迟用户要等很久请求到第一个字的时间长这三个瓶颈各有解法连接池、预热、并发。逐个击破。HTTP 连接池复用问题每次调client.chat()openai 库底层如果每次新建连接会重复 TCP 三次握手 TLS 握手耗时几百毫秒到几秒。解法连接池复用——保持连接不关闭请求之间复用同一个 HTTP 连接。openai 库默认就用了httpx的连接池但我们要确保Client 实例是单例不要每次调用都 new 一个连接池参数设置合理# deep_pilot/performance.py —— 性能优化 v0.8from__future__importannotationsimporthttpxfromopenaiimportOpenAIfromdeep_pilot.configimportsettingsdefcreate_optimized_client()-OpenAI:创建带连接池优化的客户端# 自定义 httpx 客户端配置连接池http_clienthttpx.Client(timeouthttpx.Timeout(connect5.0,# 连接超时 5 秒read120.0,# 读取超时 120 秒模型生成可能很久write5.0,# 写入超时 5 秒pool10.0,# 连接池获取超时 10 秒),limitshttpx.Limits(max_keepalive_connections20,# 保持 20 个空闲连接max_connections100,# 最大 100 个连接keepalive_expiry30.0,# 空闲连接 30 秒过期),transporthttpx.HTTPTransport(retries0),# 重试交给上层)returnOpenAI(api_keysettings.deepseek_api_key.get_secret_value(),base_urlsettings.deepseek_base_url,http_clienthttp_client,)关键参数max_keepalive_connections20保持 20 个连接复用不重建keepalive_expiry30连接空闲 30 秒才关闭max_connections100并发上限 100API 预热连接握手提前做问题第一个请求要经历完整的 TCP TLS 握手比后续请求慢。用户第一次调用时感知的延迟最长。解法预热——应用启动时先发一个轻量请求把连接建立好、缓存热起来。defwarm_up(client:OpenAI)-None: 预热启动时发一个最小请求建立连接 热缓存。 try:client.chat.completions.create(modelsettings.deepseek_model,messages[{role:user,content:hi}],max_tokens1,# 最小输出几乎零成本)print([预热] 连接已建立缓存已热)exceptExceptionase:print(f[预热] 预热失败可忽略:{e})预热的两大收益TCP/TLS 握手提前完成后续请求复用连接服务端缓存预热DeepSeek 的 Prefix Caching第64节详讲——预热请求让常用前缀进入缓存并发调用与限流问题多个独立任务串行跑IO 时间浪费。解法并发第56节的 asyncio限流防止打爆 API。DeepSeek V4.1-Flash 支持 2500 并发但个人账号有额度限制需要合理限流。importasyncioimporttimeasyncdefbatch_call_with_limit(client:OpenAI,prompts:list[str],max_concurrent:int10,)-list[str]: 并发调用带限流。 prompts: 要处理的提示词列表 max_concurrent: 最大并发数 semaphoreasyncio.Semaphore(max_concurrent)asyncdef_call_one(prompt:str)-str:asyncwithsemaphore:# 用 to_thread 避免阻塞事件循环respawaitasyncio.to_thread(client.chat.completions.create,modelsettings.deepseek_model,messages[{role:user,content:prompt}],)returnresp.choices[0].message.contentortasks[_call_one(p)forpinprompts]returnawaitasyncio.gather(*tasks)defrun_batch(prompts:list[str],max_concurrent:int10)-list[str]:同步入口returnasyncio.run(batch_call_with_limit(optimized_client,prompts,max_concurrent))首 token 延迟优化首 token 延迟Time To First Token, TTFT是用户体验的关键——用户要等多久才能看到第一个字。优化手段流式输出第38节讲过不等完整结果逐 token 返回预热连接已建立省握手时间减少系统提示词系统提示词太长模型要先读完才能开始生成defmeasure_ttft(client:OpenAI,messages:list[dict],stream:boolTrue)-float:测量首 token 延迟秒starttime.time()first_token_timeNoneifstream:stream_respclient.chat.completions.create(modelsettings.deepseek_model,messagesmessages,streamTrue,)forchunkinstream_resp:ifchunk.choices[0].delta.content:first_token_timetime.time()-startbreakelse:respclient.chat.completions.create(modelsettings.deepseek_model,messagesmessages,)first_token_timetime.time()-start# 非流式首 token 完整结果时间returnfirst_token_timeor(time.time()-start)完整实现performance.py# deep_pilot/performance.py —— 完整版from__future__importannotationsimportasyncioimporttimeimporthttpxfromopenaiimportOpenAIfromdeep_pilot.configimportsettingsdefcreate_optimized_client()-OpenAI:http_clienthttpx.Client(timeouthttpx.Timeout(connect5.0,read120.0,write5.0,pool10.0),limitshttpx.Limits(max_keepalive_connections20,max_connections100,keepalive_expiry30.0,),)returnOpenAI(api_keysettings.deepseek_api_key.get_secret_value(),base_urlsettings.deepseek_base_url,http_clienthttp_client,)optimized_clientcreate_optimized_client()defwarm_up(client:OpenAIoptimized_client)-None:try:client.chat.completions.create(modelsettings.deepseek_model,messages[{role:user,content:hi}],max_tokens1,)print([预热] 连接已建立缓存已热)exceptExceptionase:print(f[预热] 预热失败可忽略:{e})defrun_batch(prompts:list[str],max_concurrent:int10)-list[str]:returnasyncio.run(_batch(clientoptimized_client,promptsprompts,max_concurrentmax_concurrent))asyncdef_batch(client,prompts,max_concurrent):semaphoreasyncio.Semaphore(max_concurrent)asyncdef_one(p):asyncwithsemaphore:respawaitasyncio.to_thread(client.chat.completions.create,modelsettings.deepseek_model,messages[{role:user,content:p}],)returnresp.choices[0].message.contentorreturnawaitasyncio.gather(*[_one(p)forpinprompts])defmeasure_ttft(client:OpenAI,messages:list[dict])-float:starttime.time()stream_respclient.chat.completions.create(modelsettings.deepseek_model,messagesmessages,streamTrue,)forchunkinstream_resp:ifchunk.choices[0].delta.content:returntime.time()-startreturntime.time()-start实测优化前后对比uv run python-c import time from openai import OpenAI from deep_pilot.config import settings from deep_pilot.performance import optimized_client, warm_up, run_batch # 未优化每次新建 client无连接池 def unoptimized_call(prompt): c OpenAI(api_keysettings.deepseek_api_key.get_secret_value(), base_urlsettings.deepseek_base_url) c.chat.completions.create(modelsettings.deepseek_model, messages[{role:user,content:prompt}]) # 1. 连接池对比10 次调用 start time.time() for i in range(10): unoptimized_call(hello) unopt_time time.time() - start start time.time() for i in range(10): optimized_client.chat.completions.create(modelsettings.deepseek_model, messages[{role:user,content:hello}]) opt_time time.time() - start print(f10次调用未优化 {unopt_time:.2f}s vs 连接池 {opt_time:.2f}s) # 2. 预热对比 start time.time() optimized_client.chat.completions.create(modelsettings.deepseek_model, messages[{role:user,content:hi}]) cold_time time.time() - start print(f冷启动首调用: {cold_time:.2f}s) warm_up() start time.time() optimized_client.chat.completions.create(modelsettings.deepseek_model, messages[{role:user,content:hi}]) warm_time time.time() - start print(f预热后调用: {warm_time:.2f}s) 控制台输出精简10次调用未优化 8.5s vs 连接池 5.2s 加速 1.6x 冷启动首调用: 1.8s [预热] 连接已建立缓存已热 预热后调用: 1.2s 首调用快 33%优化效果连接池10 次调用从 8.5s 降到 5.2s加速 1.6 倍预热首调用从 1.8s 降到 1.2s快 33%小结三个瓶颈连接开销、串行等待、首 token 延迟各有解法。连接池复用httpx 保持 20 个连接不重建10 次调用加速 1.6x。API 预热启动时发最小请求握手提前 缓存热首调用快 33%。并发调用asyncio 信号量限流IO 密集任务并行不浪费等待时间。首 token 延迟流式输出 预热 精简提示词用户更快看到第一个字。单例 Client不要每次 new 客户端否则连接池形同虚设。DeepPilot v0.8 性能优化完成——从能用到好用又快。下节预告性能优化让 Agent 更快了但成本还没动——同样的功能有人花 10 元有人只花 1 元。下一节讲前缀缓存的秘密DeepSeek 缓存命中只要 0.02 元/百万 token比未命中便宜 50 倍。系统提示词和工具定义的稳定前缀设计 命中率监控把账单砍掉一个零。如果觉得本文对你有帮助欢迎点赞、收藏、关注三连本系列持续更新中关注不迷路~