存储分布式文件系统对象存储云原生【免费下载链接】cubefscloud-native distributed storage项目地址https://gitcode.com/gh_mirrors/cu/cubefs点击查看免费下载CubeFS 生命周期子系统Lifecycle / LcNode为用户提供兼容 AWS S3BucketLifecycle语义的数据生命周期管理能力根据数据的年龄、存储类型等属性自动完成数据删除或存储层级迁移如热数据降级到 HDD、归档到 BlobStore。本指南以 docs-zh/source/design/lcnode.md 为骨架结合 lcnode 与 master 的源码实现系统讲解 LcNode 的部署配置、生命周期规则设置、任务调度与状态查询全流程读完即可在自有集群中落地冷数据自动降级方案。一、设计背景与核心目标CubeFS 作为云原生分布式存储单集群通常承载多种访问频率的数据新写入的数据被频繁读取而超过一定时间未被访问的数据如日志归档、备份文件长期占用昂贵的热存储资源。生命周期子系统的目标即是用规则 自动任务的方式替代人工清理/迁移实现自动过期删除按无访问天数或指定日期删除对象兼容 S3Expiration语义。存储层级转换按无访问天数将数据从当前层级迁移到更低成本的存储层级兼容 S3Transition语义CubeFS 中支持迁移到 HDDStorageClass: HDD与 BlobStore 对象存储StorageClass: BLOBSTORE。从源码结构看该能力由两个核心组件协同完成Master负责规则持久化、任务生成与调度与LcNode无状态执行节点负责扫描与迁移/删除详见下文架构说明。二、系统架构与组件职责图生命周期子系统中 Master 与 LcNode 的协作关系图片引用自 docs-zh/source/design/pic/lcnode-system.png2.1 LcNode无状态任务执行节点LcNode 是纯无状态节点职责单一与 Master 保持心跳上报当前正在执行的任务及实时统计信息接收 Master 下发的生命周期扫描任务OpLcNodeScan并执行接收并执行多版本快照清理任务OpLcNodeSnapshotVerDel。由于无状态其扩缩容非常轻量扩容时直接启动一个新的 LcNode 进程配置相同的masterAddr缩容时直接停掉对应进程即可Master 会通过心跳超时机制自动将其标记为失活详见 master/lifecycle_node.go 中checkLiveness超时阈值defaultNodeTimeOutSec秒后IsActive置为 false。LcNode 启动配置文件示例对应 lcnode/server.go 中parseConfig的解析逻辑{ role: lcnode, listen: 17510, logDir: ./logs, logLevel: info, masterAddr: [ xxx, xxx, xxx ] }各字段说明字段含义默认值 / 约束role节点角色固定为lcnodelistenTCP 服务监听端口接收 Master 下发的任务包默认80必须为纯数字字符串源码用正则^(\d)$校验logDir日志目录无默认需显式配置logLevel日志级别如infomasterAddrMaster 地址列表至少一个用于获取集群信息并注册节点必填缺失报IllegalConfigError值得注意的实现细节listen配置的是数据面端口LcNode 还会自动监听listen 1端口作为 HTTP 服务见 lcnode/server.go 中l.httpListen strconv.Itoa(listenInt 1)提供/stopScanner停止指定扫描任务与/getFile按 inode 读取文件内容两个调试接口Master 停止任务时正是通过该 HTTP 端口下发停止指令。除上述基础配置外LcNode 还支持以下调优参数常量与默认值定义于 lcnode/const.go解析逻辑见 lcnode/server.go配置键作用默认值范围约束scanCheckInterval扫描完成度检查周期秒60需 0lcScanRoutineNumPerTask每个任务的扫描并发协程数201 ~ 500lcScanLimitPerSecond每个任务的扫描速率上限QPS不限速 0 时生效snapshotRoutineNumPerTask快照清理任务并发协程数201 ~ 500simpleQueueInitCapacity文件队列初始容量1000000需 lcScanRoutineNumPerTask * 1000lcNodeTaskCountLimit单节点并行任务数上限11 ~ 20delayDelMinute迁移后旧 extent key 的保留时长分钟即延迟删除窗口14401 天 0useCreateTime判断过期时是否使用创建时间而非最后访问时间false布尔值其中delayDelMinute与useCreateTime直接影响数据安全性与过期判定口径迁移完成后旧数据不会立即释放而是在延迟窗口内保留以便回滚useCreateTime置为 true 时无访问 N 天将按CreateTime计算源码见 lcnode/lc_scanner.go 中expired函数。2.2 Master规则持久化与任务调度中心Master 在生命周期体系中承担大脑职责实现于 master/lifecycle_manager.go 的lifecycleManager持久化所有卷的生命周期配置lcConfigurations map[string]*proto.LcConfiguration以卷名为键注册与存活管理接受 LcNode 注册AddLcNode与心跳OpLcNodeHeartbeat维护每个节点的WorkingCount正在处理的任务数心跳超时标记失活任务生成将每个卷中Status Enabled的规则展开为RuleTask见genEnabledRuleTasks放入待执行队列ToBeScanned任务分配监听idleLcNodeCh当有 LcNode 心跳上报空闲当前任务数 LcTaskCountLimit时从ToBeScanned取一个任务下发给该节点见process与notifyIdleLcNode实现任务在所有存活节点间的负载均衡结果回收与重试checkLcRuleTaskResults每分钟检查任务结果任务 20 分钟无心跳更新则重新入队执行。Master 侧还内置了去重与防冲突机制exist函数会跳过同一卷下前缀相同或互为前缀的重复任务避免同一目录被多个规则重复扫描见 master/lifecycle_manager.go。同时Master 发生 leader 切换后 12 秒内拒绝启停任务10 分钟冷却后再恢复调度startLcScanHandleLeaderChange保证 raft 状态一致。三、生命周期规则介绍与配置实战3.1 规则模型兼容 S3 BucketLifecycle规则的数据结构定义于 proto/lifecycle.go每条规则Rule包含ID、StatusEnabled/Disabled、Filter.Prefix路径前缀过滤、可选的Expiration过期删除与Transitions迁移列表可含多条但同一规则内StorageClass不能重复。Days表示最后访问 N 天后触发Date表示指定日期后触发。规则校验约束源码见 proto/lifecycle.go 的Valid/validTransition/validTransitions规则至少包含一个Expiration或一条TransitionStorageClass必须是HDD或BLOBSTORE对应OpTypeStorageClassHDD/OpTypeStorageClassEBS同一规则内多条 Transition 的StorageClass必须互不相同若同时配置Days与Date二者需要满足一致性校验例如Date不得早于Days计算出的时间点删除Expiration与迁移Transition共享时间约束校验避免尚未迁移即被删除的竞态。3.2 通过 Master HTTP 接口设置规则Master 提供 HTTP 接口设置生命周期规则对应 master/api_service.go 中 S3 相关接口的落库逻辑最终写入lifecycleManager.lcConfigurationshttp://127.0.0.1:17010/s3/setLifecycle请求体示例对卷lcvol设置 2 条规则{ VolName: lcvol, Rules: [ { ID: a1, Status: Enabled, Filter: { Prefix: dir1/ }, Transition: [ { Days: 180, StorageClass: HDD } ] }, { ID: a2, Status: Enabled, Filter: { Prefix: dir2/ }, Transition: [ { Days: 30, StorageClass: HDD } ] } ] }上述示例的含义针对目录dir1中的文件在无访问180天后将数据迁移到 HDD 存储针对目录dir2中的文件在无访问30天后将数据迁移到 HDD 存储。规则下发后 Master 会持久化保存后续每轮任务周期都会重新读取这些配置生成任务。若想实现过期删除可在规则中加入Expiration: {Days: 365}若想归档到对象存储将StorageClass改为BLOBSTORE即可注意需提前在集群中部署并配置 BlobStore 服务LcNode 通过 Master 下发的EbsAddr连接见 lcnode/lc_scanner.go 中NewS3Scanner对ebsClient的初始化。3.3 存储层级与迁移方向迁移方向由冷热度决定源码在 lcnode/lc_scanner.go 的inodeExpired函数中体现了严格的单向降温逻辑迁移到 BlobStoreStorageClass: BLOBSTORE仅当 inode 当前存储层级低于StorageClass_BlobStore时执行迁移到 HDDStorageClass: HDD仅当 inode 当前存储层级低于StorageClass_Replica_HDD时执行过期删除Expiration优先级高于迁移。同时expired函数计算过期时会对时间抖动做防护若AccessTime 10s早于CreateTime节点间时钟偏差导致直接判定为未过期并跳过。四、生命周期任务执行机制4.1 任务启动方式定时触发默认情况下Master 每天凌晨 1:00 开启一轮生命周期任务对所有Enabled规则生成任务并调度。手动触发Master 提供 HTTP 接口手动开启生命周期任务对应 master/api_service.go 中adminLcNode的start分支http://127.0.0.1:17010/admin/lcnode?opstart该接口支持可选参数vol与ruleid不传则启动所有卷的所有启用规则传vol只启动指定卷同时传vol与ruleid只启动指定规则。接口仅接受 raft leader 请求非 leader 返回not leader。手动停止对应stop分支http://127.0.0.1:17010/admin/lcnode?opstopvollcvol停止时 Master 会通过 LcNode 的 HTTP 端口listen1调用/stopScanner?idtaskId通知其优雅停止见 master/lifecycle_manager.go 的doRequestStopLcScan对心跳超时超过 18 秒的任务直接清理对 404任务尚未在节点落地的重试最多 4 次。4.2 单轮任务的生命周期结合源码一轮任务大致经历以下阶段任务生成Master 读取所有Enabled规则 → 生成RuleTaskID形如卷名:规则ID→ 写入ToBeScanned任务下发Master 的process循环收到空闲节点通知 → 通过OpLcNodeScan管理任务包下发给 LcNode见 master/lifecycle_node.go 的createLcScanTask节点执行LcNode 收到任务后创建LcScannerlcnode/lc_scanner.go先通过FindPrefixInode定位规则前缀对应的起始目录 inode再以该目录为根进行目录树扫描结果回收任务完成或失败后LcNode 通过respondToMaster回传LcNodeRuleTaskResponseMaster 的handleLcNodeLcScanResp落库心跳同时附带任务进度opMasterHeartbeat中组装各扫描器统计异常重试checkLcRuleTaskResults每分钟巡检20 分钟无心跳更新的任务会被重新入队。4.3 扫描算法广度优先 深度优先自适应LcScanner 对目录树的扫描采用双模式自适应策略见 lcnode/lc_scanner.go当待扫描目录队列dirChan长度未超过阈值maxDirChanNum1000000时使用广度优先handleDirLimitBreadthFirst子目录入队并行处理当队列积压超过阈值时切换为深度优先handleDirLimitDepthFirst避免上亿目录项导致内存暴涨源码注释估算按每个 dentry 约 40 字节1 亿个 ScanDentry 将占用约 4GB 内存。扫描通过ReadDirLimit_ll按defaultReadDirLimit1000分批拉取目录项并使用 marker 游标翻页.Trash目录DirTrashSkip会被跳过。目录与文件分别由dirRPool、fileRPool两个协程池并行处理并通过rate.LimiterlcScanLimitPerSecond限制扫描速率避免对元数据集群造成冲击。任务完成判定DoneScanning要求目录队列、文件队列、两个协程池全部清空。4.4 迁移与删除的底层实现迁移到 HDDTransitionMgr.migrate见 lcnode/lc_transition.go通过ec读与ecForW写两个 ExtentClient 流式读取源数据并写入目标存储层级全程计算 MD5写入完成后分别回读源端与目标端做MD5 一致性校验校验通过才调用UpdateExtentKeyAfterMigration更新元数据inode 的 extent key 指向新层级并携带leaseExpireTime与delayDelMinute延迟删除窗口旧数据在窗口内保留。若 inode 已存在迁移 extent keyHasMek则跳过迁移直接调用DeleteMigrationExtentKey清理。迁移到 BlobStoreTransitionMgr.migrateToEbs通过io.Pipe将源端流式读取与 BlobStorePut并行按util.ExtentSize分片校验 MD5成功后同样更新元数据。过期删除handleFile中的OpTypeDelete分支调用DeleteWithCond_ll按条件删除 dentry再调用Evict驱逐 inode 缓存。以上所有操作均通过auditlog.LogLcNodeOp输出操作审计日志lcnode/lc_scanner.go。迁移/删除过程中出现的租约被占用statusLeaseOccupiedByOthers、inode 不存在、ExtentNotFound等错误会被isSkipErr识别为可跳过错误文件正被修改或已删除不计入失败统计。五、任务状态查询与统计指标解读5.1 查询接口Master 提供 HTTP 接口查询生命周期任务状态对应adminLcNode的info分支http://127.0.0.1:17010/admin/lcnode?opinfo支持可选参数vol、ruleid、done过滤查询范围。返回结构包含三个部分LcConfigurations当前持久化的生命周期规则配置LcNodeStatus各 LcNode 节点正在处理的任务数WorkingCountLcRuleTaskStatus本轮任务的开始/结束时间、待扫描任务队列与每个规则任务的详细执行结果。5.2 返回字段详解{ data: { LcConfigurations: { lcvol: { Rules: [ { ID: a1, Status: Enabled, Filter: { Prefix: dir1/ }, Transition: [ { Days: 180, StorageClass: HDD } ] } ], VolName: lcvol } }, LcNodeStatus: { WorkingCount: { xx.xxx.xxx.xxx:17510: 0 } }, LcRuleTaskStatus: { EndTime: 2025-02-13T09:28:38.78402586808:00, // 每一轮生命周期所有任务完成时间 Results: { lcvol:a1: { Done: true, // 任务完成 EndTime: 2025-02-13T09:22:48.7616855408:00, // 任务结束时间 ErrorDeleteNum: 0, // 删除失败的文件数 ErrorMToBlobstoreNum: 0, // 迁移 Blobstore 失败的文件数 ErrorMToHddNum: 0, // 迁移 HDD 失败的文件数 ErrorReadDirNum: 0, // 扫描失败的目录数 ExpiredDeleteNum: 0, // 删除成功的文件数 ExpiredMToBlobstoreBytes: 0, // 迁移 Blobstore 成功的字节数 ExpiredMToBlobstoreNum: 0, // 迁移 Blobstore 成功的文件数 ExpiredMToHddBytes: 0, // 迁移 HDD 成功的字节数 ExpiredMToHddNum: 0, // 迁移 HDD 成功的文件数 ExpiredSkipNum: 0, // 迁移跳过的文件数 ID: lcvol:a1, // 任务 ID LcNode: xx.xxx.xxx.xxx:17510, // 执行任务的节点 RcvStop: false, // 收到任务停止信号 Rule: { ID: a1, Status: Enabled, Filter: { Prefix: dir1/ }, Transition: [ { Days: 180, StorageClass: HDD } ] }, StartErr: , // 任务启动错误信息 StartTime: 2025-02-13T09:21:48.74497907208:00, // 任务启动时间 Status: 1, // 1 表示任务成功 2 表示任务失败 TotalDirScannedNum: 1, // 扫描的总目录数 TotalFileExpiredNum: 0, // 过期的总文件数 TotalFileScannedNum: 999, // 扫描的总文件数 UpdateTime: null, // 上一次心跳时间 Volume: lcvol // 卷名 } }, StartTime: 2025-02-13T09:21:43.74407989208:00, // 每一轮生命周期所有任务开始时间 ToBeScanned: {} // 等待执行的任务 } } }关键指标使用建议Status1成功、2失败先看它判断整轮任务是否健康Done与RcvStopDonefalse且RcvStoptrue表示任务被手动停止可能是不再需要该规则属于正常现象Expired*Num与Error*Num对比若Error*持续增长而Expired*停滞说明迁移/删除遇到系统性故障如目标存储不可用、元数据操作失败需检查对应 LcNode 日志与auditlog中的LcNodeOp记录ExpiredSkipNum含已被其他流程处理如存在迁移 extent key、租约被占用而跳过的文件通常不是错误UpdateTime为空表示任务结果刚下发、心跳尚未更新属于瞬时状态若长时间为空且Donefalse则可能被checkLcRuleTaskResults判定超时重做。这些统计字段与 proto/lifecycle.go 中LcNodeRuleTaskStatistics结构一一对应并由 LcNode 心跳实时上报见 lcnode/lc_op.go 的opMasterHeartbeat各计数均使用原子操作累加。六、最佳实践与注意事项前缀规则设计Filter.Prefix必须以目录语义组织如dir1/扫描器会先通过FindPrefixInode逐级Lookup_ll定位前缀目录若前缀中间层级不是目录任务会以 ENOENT 失败。规则间避免前缀互相包含否则会触发 Master 的去重逻辑导致任务被跳过。冷数据窗口迁移后的旧数据在delayDelMinute默认 1440 分钟/1 天内保留不要急于依赖存储释放来扩容扩容评估应以迁移完成 延迟删除窗口后的实际占用为准。容量与限速大目录上亿文件建议调大lcScanRoutineNumPerTask并设置lcScanLimitPerSecond限制对元数据的压力协程数上限 500超出会自动回落默认值。节点数规划单个 LcNode 默认并行任务数上限为 1lcNodeTaskCountLimit需要并行执行多卷任务时可调大该值或横向扩容 LcNode 节点——无状态特性使其扩缩容成本极低。先小范围验证建议先在测试卷上以短Days如 1 天和 HDD 迁移为目标验证规则配置与迁移正确性确认 MD5 校验、审计日志正常后再推广到生产卷避免误删或误迁移。七、参考源码索引生命周期子系统设计文档docs-zh/source/design/lcnode.mdLcNode 节点实现lcnode/server.go配置解析、注册、心跳、任务收包、lcnode/const.go配置常量与默认值生命周期扫描器lcnode/lc_scanner.go目录树扫描、过期判定、迁移/删除执行、统计上报、lcnode/lc_op.go心跳与任务响应协议迁移引擎lcnode/lc_transition.goHDD/BlobStore 迁移与 MD5 校验Master 调度与状态机master/lifecycle_manager.go、master/lifecycle_node.go、master/lifecycle_task.goMaster 管理接口master/api_service.go/s3/setLifecycle与/admin/lcnode?opstart|stop|info协议与数据结构proto/lifecycle.go规则模型、任务模型、统计结构赞分享存储分布式文件系统对象存储云原生【免费下载链接】cubefscloud-native distributed storage项目地址https://gitcode.com/gh_mirrors/cu/cubefs点击查看免费下载相关推荐Alluxio 分布式缓存实战指南从分层存储配置到数据生命周期管理Alluxio 分布式缓存实战指南从分层存储配置到数据生命周期管理 导读 本文是 Alluxio 核心服务Core Services中缓存Caching存储分布式文件系统缓存大数据MinIO 桶生命周期ILM配置实战对象过期、版本清理与数据分层转移MinIO 桶生命周期ILM配置实战对象过期、版本清理与数据分层转移 本篇指南基于 MinIO 官方桶生命周期文档讲解如何在桶上启用对象生命周期配置按后端存储对象存储分布式存储云原生Duix.Avatar 完整教程如何在本地快速部署开源 AI 数字人并生成口播视频Duix.Avatar 完整教程如何在本地快速部署开源 AI 数字人并生成口播视频 Duix.Avatar 是一款可本地部署的开源 AI 数字人工具上传一段存储分布式文件系统对象存储后端高可用上一篇如何在24GB内存Mac上流畅运行Ornith-1.0-35B-OptiQ-4bit专家流技术让显存占用骤降至4.58GB下一篇进阶指南React Native Swipe List View 的左右滑动动作系统创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考