【免费下载链接】billion-contextA context-compression plugin for small context windows (a 100K context is enough), token savings (5x fewer tokens), and month-long single sessions (billions of tokens).上下文压缩插件兼顾小窗口(100k上下文足矣)省token(省5倍token)和超长会话(数月级别几十亿token单会话)。billion-context is all you need项目地址https://gitcode.com/gh_mirrors/bil/billion-context点击查看免费下载billion-context 是一款面向 Claude Code、OpenCode、Codex 等编码 Agent 的上下文压缩插件它把数千万 token 的长会话压缩进 100K–200K 的小窗口省约 5 倍 token 费用并支撑单会话持续数月、累计数十亿 token。它的核心机制 **The Fold折叠**在 4.5 个月的生产实测中达成约70× 常态压缩比且质量不降、前缀缓存不失效。本文将结合项目开源论文拆解这一折叠式分层增量压缩背后的原理与数据。一、传统压缩为什么撑不住长会话长编码会话有三大痛点上下文窗口会被工具输出快速耗尽token 按量计费成本随历史长度线性膨胀前沿模型的注意力在长上下文尾部会发生退化。主流补救方案大多是遗忘或外置的变体各有硬伤方案做法致命缺陷滑动窗口截断丢弃最老轮次出窗内容永久丢失留存率 ≡ 0阈值一次性压缩到 80% 阈值把全部历史总结成一块不可逆、单一粒度每轮再摘要一次早期内容按 ρ^k 几何衰减四轮后仅余 3–13%外部向量记忆抽取事实入库丢失过程性上下文traceback、300 轮前的约束billion-context 的论文把信息留存率定义为衡量压缩算法的原则性指标会话中早期内容在很久之后还能不能取回。传统阈值压缩的留存率渐近于 0而折叠The Fold的留存率恒定在约 1/8不随轮数复合衰减——这是 70× 压缩比能在数月尺度上成立的第一性原理。二、The Fold 折叠布局一座罗汉塔The Fold 的核心思想只折叠中段、保留两端。模型窗口被切分为两个区域摘要区digest blocks历史被折叠成的可恢复摘要块按 tier-1 → tier-2 → tier-3 分层蒸馏上层比下层小得多形如罗汉塔近期区recent zone最近约 50K token 保持逐字原文承载当前正在使用的工作现场。The Fold 折叠布局tier-1 常驻占比 92%、tier-2 占 7%、tier-3 不足 1%tier-23 仅占 8% 常驻空间却承载 37% 的历史内容每块代表跨度逐层放大约 4–5 倍来源项目论文图 1关键细节每个摘要块都单独可恢复——需要精确细节时模型可调用decompress把该块还原回上下文或用 decompress-to-file 模式把完整源文本写到文件系统完全不扰动缓存前缀。压缩因此是增量、可逆、缓存友好的而不是压成黑盒就回不来了。三、70× 压缩比是怎么算出来的生产数据242 个重负载会话即被压缩 token 超过 10 万的会话给出了这个数字的口径被压缩体量均值约91 万 token中位 53 万最终常驻的活跃摘要块中位仅13 个合计约13K token91 万 ÷ 13K ≈70×摘要只占 204,800 窗口的个位数百分比。单次压缩又小到什么程度跨 17,783 个生产压缩块统计每次压缩只把中段一个区间被压缩 token 中位 2.6K替换成一份摘要输出中位仅 185 token97.5% 的压缩输出不超过 2K token。逐块压缩比整体中位 7.9×而工具输出主导的块中位 24×、p75 达 45×、最高逾 3,000×——压缩红利恰恰集中在大体量低密度的工具输出上。信息留存率随压缩轮数的行为传统阈值压缩几何衰减折叠恒定在约 1/8来源项目论文图 2只压增量是 70× 背后的承重设计。每段内容一生只被折叠一次之后作为摘要块常驻不变留存率不再衰减同时窗口是 append-only 的——新内容只追加在尾部压缩只停用被折叠的后缀区间已建立的 KV-cache 前缀永不失效。任何改写历史式的压缩都会让全部前缀失效。一句话增量使压缩成为 O(增量) 操作质量风险、缓存失效、金钱成本都变成新增工作的函数而不是历史长度的函数。四、触发与决策增速门控 模型驱动判断触发侧需求门控当上下文超过窗口的下限比例默认约 0.45且自上次压缩以来增长超过增速门默认 50K token有效下限 22.5K时内核才注入一条压缩提示nudge。这实现了在任务步与步之间压缩而非步中压缩——被压的永远是任务已经消费过的增量而不是正在使用中的内容。决策侧模型驱动压什么、压多少、要不要压由模型按唯一判据决定——当前任务是否还需要这份内容。压缩瞬间nudge 向模型注入带真实尺寸token 数、消息数、tool/text 构成的候选区间推荐列表与 KEEP/DROP 摘要工艺规则压缩完成后立即移除、不留痕。模型在调试中途等关键节点可以拒绝压缩——拒绝是质量阀不是失败。内核还会硬性保护压缩调用本身、近期区、首条用户消息任务意图始终可见。这套编排逻辑实现为一个零宿主依赖的 TypeScript 内核acp-kernel逐轮跑 9 阶段纯函数流水线assign-refs → sync-blocks → merge-blocks → prune → filter → hide-compress-calls → nudge-inject → emergency-truncate → render-refs。模型调用四个注入的工具自主管理上下文compress折叠区间、decompress还原区间、search_context检索摘要、acp_status上下文用量总览。内核架构契约kernel/DESIGN.md压缩哲学全文KEEP/DROP 规则kernel/DESIGN-prompts.md完整论文与全部生产数据paper/模型驱动的分层增量压缩-免训练多代上下文管理.md五、生产验证数千次调用上下文只在有界区间震荡4.5 个月、三个宿主、174,327 次模型调用、187.6 亿累计输入 token的生产遥测给出三个关键事实① 上下文有界震荡而非单调增长。最长两个生产会话——12,049 次调用约 15.2 亿 token与 8,584 次调用约 10.1 亿 token——的逐调用上下文都在约 50–375K 区间内锯齿震荡从未越限204,800-token 窗口的 42,986 次调用零窗口违规。两个最长生产会话的逐调用上下文轨迹来源项目论文图 3② 缓存经济学兑现。因为前缀永不被压缩改写活跃节奏下调用间隔 2 分钟占 89% 流量实测缓存读占比达94.2%整体 cache 读:输入比约 9.7:1。改写式压缩每次都会使整个前缀失效这是折叠在成本上的另一重红利。③ 单会话容量上界。对分层保留率做闭式推导加离散事件仿真参数拟合自生产压缩数据1M token 窗口下单个会话理论上可承载约286 亿 token、106 天的持续工作400K 窗口第 35 天触及 39 亿。而没有折叠同样的会话在约 104 次调用5,300 万 token就会撞满窗口——单会话总工作量相差约550×。单会话容量仿真累计输入随天数增长直至窗口填满来源项目论文图 6受控实验进一步验证了质量平价在 108 次任务执行的 Session Marathon 负载上billion-context 默认配置计费 token 较保留基线降低 31–54%召回探针得分持平而重新获取已压缩内容的调用减少 63%2.7×。六、三步启用并验证压缩效果安装用户级前缀无需 sudonpm install -g billion-context --prefix~/.local接入客户端三选一原生插件bili plugin install pi支持 pi / omp / opencode / dsh / kimi 等启动器零配置bili claude、bili codex、bili opencode…通用改址把客户端 base URL 前缀指向代理的/bili/路径验证会话中执行/acp或/acp-cache查看上下文构成与缓存命中率健康会话的前缀缓存命中率应保持 95–97%压缩自身开销 ≤2%。各客户端的完整配置指南见 CLIENTS.md机制细节见 TECHNICAL-NOTES.md中文总览见 README.zh-CN.md。总结billion-context 的 70× 压缩不是某个更狠的摘要算法而是一个架构组合的涌现结果折叠布局摘要区 近期区让窗口有界震荡只压已消费增量让成本与质量风险都变成 O(增量)多代分层蒸馏tier-1→2→3让摘要体本身亚线性增长append-only 前缀让 KV-cache 红利贯穿始终。用作者的总结说agent 上下文管理的价值在于折叠而不在于任何单一机制——billion-context is all you need100K 窗口足矣。赞分享【免费下载链接】billion-contextA context-compression plugin for small context windows (a 100K context is enough), token savings (5x fewer tokens), and month-long single sessions (billions of tokens).上下文压缩插件兼顾小窗口(100k上下文足矣)省token(省5倍token)和超长会话(数月级别几十亿token单会话)。billion-context is all you need项目地址https://gitcode.com/gh_mirrors/bil/billion-context点击查看免费下载相关推荐抖音批量下载去水印用 douyin-downloader 把一位作者的作品完整存下来抖音批量下载去水印用 douyin downloader 把一位作者的作品完整存下来 跑完之后你会得到一批井井有条的本地文件某位作者全部作品的无水印视频网页爬虫CLIgh_mirrors/di/directory背后的技术GitHub数据抓取与评分算法实现gh_mirrors/di/directory背后的技术GitHub数据抓取与评分算法实现 GitHub 加速计划di/directory是一个可搜索、可30秒找回Windows 10任务栏用ExplorerPatcher完成Windows 11界面定制的完整路径30秒找回Windows 10任务栏用ExplorerPatcher完成Windows 11界面定制的完整路径 ExplorerPatcher 是一款开源的桌面应用系统编程创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考