10 蒸馏工具链自动化蒸馏流水线这是《Git 仓库蒸馏术从代码仓库到 OpenClaw 虚拟人》系列的第 10 篇。前 9 篇我们手工完成了蒸馏的每一步盘点、挖掘、分析、提炼、建模。这一篇把这些步骤固化成一条自动化流水线——蒸馏工具链。手工蒸馏一次可以但仓库会持续演进蒸馏必须能重复执行。一、工具链架构采集、分析、提炼、输出蒸馏工具链分四层对应蒸馏流程的四个阶段┌─────────────────────────────────────────────┐ │ 输出层知识产物画像/报告/文档/图谱 │ ├─────────────────────────────────────────────┤ │ 提炼层模式提炼 / ADR 生成 / 图谱构建 │ ├─────────────────────────────────────────────┤ │ 分析层结构分析 / 历史挖掘 / 依赖分析 │ ├─────────────────────────────────────────────┤ │ 采集层git 数据 / issue / PR / 代码 │ └─────────────────────────────────────────────┘层级职责对应前篇工具采集层拉取原始数据03 盘点、06 文档git、gh CLI、cloc分析层分析结构/历史/依赖04 挖掘、05 分析madge、jscpd、git log提炼层提炼模式/决策/图谱07 模式、08 决策、09 图谱自研脚本输出层生成知识产物各篇产出物模板引擎核心设计原则每一层只依赖下一层层与层之间通过标准数据格式解耦。二、流水线设计从仓库到知识产物的自动化流程2.1 流水线阶段[仓库] → [采集] → [分析] → [提炼] → [输出] → [知识产物] ↑ │ └────────────── 仓库演进后重新执行 ──────────────┘每个阶段有明确的输入输出阶段输入处理输出采集仓库git/gh/cloc 拉取原始数据JSON分析原始数据madge/jscpd/git log分析结果JSON提炼分析结果模式/ADR/图谱脚本知识单元JSON输出知识单元模板渲染知识产物MD/图谱2.2 流水线编排用 Makefile 或脚本编排各阶段# Makefile .PHONY: all collect analyze refine output all: output # 采集层 collect: bash scripts/collect.sh data/raw.json # 分析层 analyze: collect python scripts/analyze.py data/raw.json data/analysis.json # 提炼层 refine: analyze python scripts/refine.py data/analysis.json data/knowledge.json # 输出层 output: refine python scripts/render.py data/knowledge.json output/# 一键执行整条流水线makeall2.3 流水线状态管理流水线要支持断点续跑——某一步失败不用重跑全部// pipeline-state.json{last_run:2026-08-17T10:00:00,stages:{collect:{status:done,output:data/raw.json},analyze:{status:done,output:data/analysis.json},refine:{status:failed,error:ADR-004 缺少理由},output:{status:pending}}}三、常用工具集成3.1 工具清单把前几篇用到的工具统一集成工具用途阶段安装git历史/元信息采集采集内置ghissue/PR 拉取采集brew install ghcloc代码量统计采集brew install cloctree目录结构采集brew install treemadge依赖分析分析npm i -g madgejscpd重复检测分析npm i -g jscpddependency-cruiser架构规则分析npm i -g dependency-cruisernetworkx图谱构建提炼pip install networkx3.2 统一配置用一份配置文件管理所有工具参数# config.yamlrepo:path:.exclude_dirs:[node_modules,.git,dist,build]collect:cloc:truetree_depth:3gh_org:myorggh_repo:myrepoanalyze:madge_extensions:[ts,tsx,vue]jscpd_min_lines:5jscpd_min_tokens:50refine:adr_dir:docs/adrpattern_dir:patternsgraph_output:knowledge-graph.jsonoutput:template_dir:templatesoutput_dir:output3.3 采集脚本示例#!/bin/bash# scripts/collect.sh# 采集层拉取所有原始数据REPO_DIR${1:-.}cd$REPO_DIRecho 采集 git 元信息 {echo{\total_commits\:$(gitrev-list--countHEAD),echo\first_commit\:\$(gitlog--reverse--format%ai|head-1)\,echo\last_commit\:\$(gitlog-1--format%ai)\,echo\contributors\:$(gitshortlog-sne|wc-l|tr-d ),echo\branches\:$(gitbranch-r|wc-l|tr-d ),echo\tags\:$(gittag|wc-l|tr-d )}}data/git-meta.jsonecho 采集代码规模 cloc.--exclude-dirnode_modules,.git,dist,build--jsondata/cloc.json2/dev/nullecho 采集 issue/PR gh issue list--stateall--limit500--jsonnumber,title,body,labelsdata/issues.json ghprlist--statemerged--limit500--jsonnumber,title,bodydata/prs.jsonecho采集完成四、输出工具链方案4.1 工具链方案文档# 蒸馏工具链方案 ## 目标 将仓库蒸馏流程固化为可重复执行的自动化流水线。 ## 架构 四层架构采集 → 分析 → 提炼 → 输出 ## 流水线 make all 一键执行支持断点续跑。 ## 工具清单 见上文工具清单表 ## 配置 统一 config.yaml 管理所有参数。 ## 目录结构 distill-toolchain/ ├── Makefile ├── config.yaml ├── scripts/ │ ├── collect.sh │ ├── analyze.py │ ├── refine.py │ └── render.py ├── templates/ │ ├── adr.md.j2 │ ├── pattern.md.j2 │ └── report.md.j2 ├── data/ # 中间数据raw/analysis/knowledge └── output/ # 最终知识产物 ## 使用方式 1. 配置 config.yaml仓库路径、工具参数 2. 运行 make all 3. 查看 output/ 下的知识产物 ## 扩展性 - 新增分析工具在 analyze.py 中注册 - 新增输出模板在 templates/ 中添加 - 支持多仓库config.yaml 支持多仓库配置4.2 工具链的用途工具链是蒸馏流程的工程化底座给 11 虚拟人机制工具链产出的知识产物是虚拟人 memory 的输入给 12 蒸馏产物→虚拟人工具链让仓库→虚拟人的转化可重复执行给 13 落地仓库演进后重新运行工具链即可更新虚拟人知识五、小结这一篇的核心收获四层架构采集、分析、提炼、输出层间用标准数据格式解耦。流水线设计Makefile 编排 断点续跑仓库演进后可重复执行。工具集成统一 config.yaml 管理 git/gh/cloc/madge/jscpd 等工具。输出工具链方案一份可落地的自动化蒸馏流水线方案。下一篇我们进入虚拟人世界[11 OpenClaw 虚拟人机制persona、memory、skills](11-Git 仓库蒸馏术从代码仓库到 OpenClaw 虚拟人-OpenClaw虚拟人机制.md)——了解虚拟人的三要素为把蒸馏产物变成虚拟人做准备。上一篇[09 知识图谱构建连接知识节点](09-Git 仓库蒸馏术从代码仓库到 OpenClaw 虚拟人-知识图谱构建.md)下一篇[11 OpenClaw 虚拟人机制persona、memory、skills](11-Git 仓库蒸馏术从代码仓库到 OpenClaw 虚拟人-OpenClaw虚拟人机制.md)