【免费下载链接】time-to-first-tokenA 10-week, 30-minutes-a-day roadmap for LLM inference serving and optimization. vLLM, SGLang, quantization, speculative decoding, benchmarking.项目地址https://gitcode.com/gh_mirrors/ti/time-to-first-token点击查看免费下载本文基于 time-to-first-token 这个 LLM 推理服务 10 周学习路线图的第 5 周内容手把手教你用 GuideLLM 和 genai-perf 两款压测工具把 vLLM 推理服务压到 1000 并发并找到吞吐饱和拐点。为什么第5周要专门做压测路线图的顺序是刻意的度量先于优化measurement before optimization。第 3 周搭好 Prometheus Grafana 监控之后第 5 周就要把压力打满因为后面量化、投机解码等所有优化手段都只有在这个压力测试基线之上才可验证、可对比。这一周的交付物很具体一个可复现的并发扫描脚本能把服务压过 1000 并发请求每个并发级别的 p50 / p95 / p99 延迟数据用两个独立工具交叉验证的结果单一工具的数字没有说服力第5周每天学什么一张表看懂时间任务类型周一读 GuideLLM 介绍并安装它从同步基线一路扫到饱和而不是测某一个固定负载阅读周二跑第一个 GuideLLM 扫描固定输入/输出 token 长度实操周三用vllm bench serve对同一负载交叉验证实操周四genai-perf 并发扫描1、2、4 … 直到 128找吞吐饱和拐点实操周五租 H100把并发推过 1000盯 KV cache 利用率和抢占信号实操 关键认知固定输入/输出 token 长度不是随便选的——它直接决定 KV cache 大小进而决定整个压测结果。这也是为什么发布基准测试时必须写明精确 token 长度。三步实操从基线扫到饱和拐点第一步安装压测工具链按路线图 README.md 中的 Setup 章节除了 vLLM 之外压测相关只需再装两样pip install guidellmSLO 感知的速率扫描工具vLLM 官方团队出品genai-perf来自 Triton 生态的性能分析器擅长单独测量 TTFT 和 inter-token latencyITL监控侧请确保第 3 周搭好的 Grafana 面板还在正常刷新——第 5 周 1000 并发下才暴露的抓取配置问题现在就要修。第二步用 GuideLLM 做速率扫描GuideLLM 的核心思路是从同步基线开始逐级加压直到系统饱和。相比拍脑袋挑一个负载测一下扫描整条曲线才能看到低并发下 GPU 利用率爬升的斜率吞吐何时不再随并发数增长延迟何时开始非线性恶化周二建议先跑最简版本固定输入长度 固定输出长度得到一个干净的可复现基线。第三步genai-perf 并发扫描锁定那个拐点周四用 genai-perf 从 1、2、4 开始倍增并发一路扫到 128。你要找的是吞吐还在增长、但延迟已经开始明显劣化的那个位置——业界俗称 knee拐点它是整条曲线上唯一真正有趣的点。这里有个反直觉的点两个工具给出不同数字本身就是信息而不是故障。token 计数器实现、请求排队方式、token 化口径的差异都会影响读数交叉验证正是为了暴露这些差异。周五大考把服务压过1000并发这是整个 10 周里唯一需要 H100 的两个 session 之一另一个在第 8 周路线图建议只在这一节租卡按半小时计费用完即关。压过 1000 并发时眼睛要盯住两个信号KV cache 利用率接近打满意味着请求开始排队num_requests_waiting持续上涨说明服务器正在发生抢占preemption⚠️ 重要判断点如果 TTFT 在达到目标并发之前就突然尖刺、num_requests_waiting开始爬坡——说明服务已经在抢占这次测量不可发布。先停下来调--max-num-seqs、--gpu-memory-utilization和 chunked prefill 参数再重新压。发布基准测试前的自查清单路线图 README.md 中列了一份会被同行评审撕碎的常见错误清单第 5 周读完、第 10 周发布时执行检查项为什么重要扫描了请求速率而非单一并发级别单点数据只是轶事写明精确输入/输出 token 长度KV cache 大小和吞吐完全由它决定报告 p50、p95、p99平均值会掩盖用户真实感受到的长尾TTFT 与 ITL 分开报告把 prefill 和 decode 混成一个数会毁掉结论不在抢占点测量要报告拐点不要报告崩溃避免均匀长度合成流量真实流量有重尾分布均匀长度会掩盖连续批处理的价值固定引擎版本并公布完整命令让批评者能复现而不是猜测完成度可以在 progress.md 中勾选跟踪也可以打开 index.html 的网页版进度页进度保存在浏览器本地关标签页也不会丢。本周小结压测不是跑一个数字而是扫出一条并发 → 吞吐/延迟的曲线拐点knee才是可发布、可指导扩容决策的位置双工具交叉验证 监控面板信号KV 利用率、排队数共同构成可信度抢占发生时的测量结果不可发布先调参再重测第 5 周结束时你就有了一份可辩护的基线。第 6 周的量化FP8 / INT4和第 7 周的投机解码都将直接在这套压测框架下与基线对比——这就是路线图先造好度量尺再优化设计的回报所在。赞分享【免费下载链接】time-to-first-tokenA 10-week, 30-minutes-a-day roadmap for LLM inference serving and optimization. vLLM, SGLang, quantization, speculative decoding, benchmarking.项目地址https://gitcode.com/gh_mirrors/ti/time-to-first-token点击查看免费下载相关推荐Headlamp企业级Kubernetes可视化管理平台3步实现集群性能优化Headlamp企业级Kubernetes可视化管理平台3步实现集群性能优化 Headlamp是一款功能全面、用户友好且高度可扩展的Kubernetes W云原生开发工具如何专业评测AI推理性能GenAI-Perf完整实战指南如何专业评测AI推理性能GenAI Perf完整实战指南 GenAI Perf是NVIDIA Triton推理服务器生态中的专业性能测试工具专门用于评估生成模型推理服务AI 应用后端5分钟搞定股票数据获取MOOTDX量化分析终极指南5分钟搞定股票数据获取MOOTDX量化分析终极指南 股票数据获取一直是量化投资和金融分析的核心难题而MOOTDX作为一款纯Python开发的通达信数据接口封金融科技数据分析上一篇AMD Ryzen 电源调优完整指南分四步调好功耗、温度与频率下一篇yuzu 模拟器入门指南3 步在电脑上免费运行 Switch 游戏的完整方法创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考