基于 OCI 规范的模型镜像分发用 Dragonfly 搭建 P2P 权重加速网络在传统的容器镜像生态中Docker / OCI 镜像主要用于打包无状态的应用二进制程序与运行环境依赖镜像体积一般在几十兆到几百兆左右。镜像中心如 Harbor、Harbor Registry通过简单的 HTTP/HTTPS 接口即可满足日常的滚动发布需求。然而当大模型LLM成为企业核心资产后AI 基础设施面临着严峻的大文件分发爆炸一个标准的大模型权重文件如 Llama-3-70B 或 Qwen-72B体积普遍在 40GB 到 140GB 之间如果将权重直接打包进 OCI 镜像或者作为 OCI Artifact 存储当 Kubernetes 触发一次 20 个 Pod 的水平扩容时20 个节点同时向中心镜像仓库发起并发拉取$20 \times 140\text{GB} 2.8\text{TB}$ 的瞬间网络吞吐会直接将镜像仓库的网卡带宽即便配置了 25Gbps 网卡彻底打满导致下载耗时从几分钟恶化到数小时甚至引发镜像仓库直接宕机崩溃。为了打破“中心化镜像仓库的带宽瓶颈”引入基于 OCI Artifact 规范的标准化存储与基于 Dragonfly 的 P2P点对点分发加速网络成为了云原生 AI 算力平台解决百 GB 级模型分发的最佳实践。flowchart TD subgraph CentralStorage[中心镜像仓库 / OCI Registry] Registry[Harbor Registry: 存储 140GB 模型权重 OCI Artifact] end Registry --|仅初始下载 1 份种子切片数据| DragonflySuperNode[Dragonfly Manager / SuperNode 调度中心] subgraph NodePeerNetwork[计算节点 P2P 互联网络 (跨主机 100Gbps RoCE / LAN)] PeerNode1[GPU 计算节点 1: Dragonfly dfget 客户端] PeerNode2[GPU 计算节点 2: Dragonfly dfget 客户端] PeerNode3[GPU 计算节点 3: Dragonfly dfget 客户端] PeerNode4[GPU 计算节点 4: Dragonfly dfget 客户端] PeerNode1 P2P 切片互传 3GB/s PeerNode2 PeerNode2 P2P 切片互传 3GB/s PeerNode3 PeerNode3 P2P 切片互传 3GB/s PeerNode4 PeerNode4 P2P 切片互传 3GB/s PeerNode1 end DragonflySuperNode -.-|动态分配分片下载拓扑与 P2P 邻居| PeerNode1 DragonflySuperNode -.-|动态调度| PeerNode2 DragonflySuperNode -.-|动态调度| PeerNode3 DragonflySuperNode -.-|动态调度| PeerNode41. OCI Artifact将大模型权重变成标准镜像层在过去很多团队通过 Python 脚本写aws s3 cp或ossutil来下载模型这种脚本化管理方式存在版本混乱、缺乏鉴权审计、难以与 Kubernetes 原生调度协同的弊端。通过遵循开放容器标准OCI Artifacts我们可以直接使用标准的容器工具如 ORAS CLI 或 Docker将模型权重直接推送到 Harbor 镜像仓库# 1. 使用 oras 将本地 Safetensors 模型打包推送为 OCI Artifact oras push registry.internal.ai/models/llama-3-70b-instruct:20260904 \ --config /dev/null:application/vnd.internal.model.config.v1json \ ./model-00001-of-00004.safetensors:application/vnd.internal.model.weight.v1 \ ./model-00002-of-00004.safetensors:application/vnd.internal.model.weight.v1 \ ./model-00003-of-00004.safetensors:application/vnd.internal.model.weight.v1 \ ./model-00004-of-00004.safetensors:application/vnd.internal.model.weight.v1 \ ./config.json:application/vnd.internal.model.config.v1 \ ./tokenizer.json:application/vnd.internal.model.tokenizer.v1将模型作为 OCI Artifact 管理后模型不仅获得了与代码镜像完全一致的版本控制Tags / Digest SHA256 校验还能无缝复用镜像仓库的 RBAC 访问权限与 CVE 安全扫描。2. Dragonfly P2P 加速架构的底层运转机制Dragonfly 是 CNCF 毕业级的开源 P2P 镜像与文件分发系统。当大模型镜像拉取请求进入节点时流量拦截与分片Chunking计算节点上的 Containerd 配置镜像拉取代理Registry Mirror指向本地的 Dragonflydfdaemon客户端。dfdaemon自动将 140GB 的大文件切分为数万个 4MB 的微型 PieceSuperNode 拓扑路由调度Dragonfly Manager调度器感知全集群所有计算节点的物理机架位置、网络拓扑与已下载的分片信息。它动态计算出最优的传输拓扑树节点间互助分发节点 1 只需要从中心镜像仓库下载 Piece 0Piece 100节点 2 从中心仓库下载 Piece 101Piece 200随后节点 1 与节点 2 直接通过机房内网高速网卡相互发送各自缺失的 Piece中心仓库的下行流量瞬间下降 95% 以上。3. Containerd 生产接入配置实战在所有 GPU 宿主机的/etc/containerd/config.toml中将镜像拉取的 Endpoint 代理重定向至本地 Dragonfly 守护进程[plugins.io.containerd.grpc.v1.cri.registry.mirrors.registry.internal.ai] endpoint [http://127.0.0.1:65001] # 本地 Dragonfly dfdaemon 代理端口 [plugins.io.containerd.grpc.v1.cri.registry.configs.registry.internal.ai.auth] username ai-deployer password SecureRegistryToken2026同时针对大模型极速启动场景推荐开启 Dragonfly 的Nydus 容器镜像加速框架。Nydus 支持对 OCI 镜像进行**按需懒加载Lazy Pulling**与块级去重容器无需等待 140GB 镜像全部下载完毕即可在 2 秒内完成启动在运行过程中按需读取数据块。4. 生产压测对比与收益复盘我们在包含 32 台 8*H100 节点的生产集群中进行了 140GB 模型的并发拉取压测分发机制10 节点并发拉取耗时30 节点并发拉取耗时中心 Harbor 仓库出口带宽传统中心化拉取18 分钟45 分钟偶发超时重试持续打满 25Gbps (拥塞)Dragonfly P2P 分发2 分 15 秒2 分 20 秒仅前 30 秒产生 2Gbps 流量Dragonfly Nydus 懒加载8 秒就绪9 秒就绪 500Mbps总结结论在大模型时代中心化存储是性能与稳定性的最大单点瓶颈。通过 OCI Artifacts 规范化与 Dragonfly P2P 分发体系我们成功将算力集群的大模型分发耗时从“近一小时”压缩到了“两分钟”级别为推理集群的极速弹性扩容奠定了最关键的数据流通基础。