本文是《Designing Data-Intensive Applications》DDIA中文译名《数据密集型应用系统设计》第 6 章的导读。DDIA 是 Martin Kleppmann 所著的分布式系统经典本系列逐章导读把书的核心概念讲清楚。一句话主旨复制解决一份数据的多个副本分区解决把一大份数据切成多份分到多个节点——两者正交一起构成分布式存储的骨架。分区的核心难题不是怎么切而是切完之后节点增减时怎么重平衡rebalance而不挪动太多数据。核心概念拆解1. 分区 vs 复制——正交的两个维度分区: 大数据切成多片分区1 → 分区2 → 分区3 → 分区4复制: 一份数据的多副本副本1 → 副本2 → 副本3标准架构先按 key 把数据分区每片在不同节点再给每片做复制每片有 2~3 副本。一个节点既存分区 A 的主副本也存分区 B 的从副本。第 5 章的复制 第 6 章的分区组合成完整的分布式存储布局。节点3节点2节点1分区1 主分区2 从分区1 从分区3 主分区2 主分区3 从2. 怎么分区——两种分区方式 一致性哈希目标数据均匀分布 查询能定位到少数分区。① 按 Key 范围分区按 key 的值域切区间类似字典按字母分卷。✅ 范围查询高效查 A~C 只扫少数相邻分区⚠️热点风险按时间 key 分区最新数据全挤在一个分区写入热点解热点用复合 key加打散维度在前如 user_id时间放后② 哈希分区对 key 哈希后取模分到分区。hash(key) mod N。✅ 均匀分布哈希打散消除 key 分布倾斜❌ 范围查询失效相邻 key 哈希后不邻要扫所有分区大多数系统默认用这个③ 一致性哈希Consistent Hashing严格说是重平衡技术不是独立的分区方式哈希分区的问题是节点增减时数据大挪移hash(key) mod NN 从 5 变 6几乎每个 key 的归属都变5/6 的 key 要搬家。一致性哈希解决这个把 key 和节点都映射到一个环上key 归环上顺时针下一个节点。归属归属节点A节点B节点C节点Dkey1key2关键好处加/删节点时只影响相邻区间的 key大部分 key 不动。这是分布式系统扩缩容的核心技术。3. 重平衡Rebalancing——本章最难节点会增减扩容、故障、维护数据要重新分配。重平衡的目标是挪动尽量少的数据且不中断服务。三种策略策略机制问题直接取模反模式hash(key) mod NN 变 → 大挪移 ❌固定分区数预设大量分区远多于节点每节点管多个分区节点增减只重新分配分区归属分区数要预估太大有开销动态分区分区太大自动分裂太小自动合并灵活但分裂/合并有开销按节点比例vnode每节点分固定数量的虚拟节点vnodevnode 在环上均匀分布需固定 vnode 数增减节点迁移量可控工程经验补充非原书内容动态分区的分裂/合并会产生碎片——大量小分区会增加查询时要协调的分区数拖慢性能。合并治理把碎片小分区合成大分区是分区维护的重要工作。分区不在多在匀而整——均衡、非碎片化的分区比分区多但碎片化快得多。问题→方案问题——数据太大一个节点放不下。场景——要把数据切分到多节点且节点会增减。方案——分区 重平衡策略按 key 范围分区支持范围查但有热点风险按哈希分区均匀但范围查失效一致性哈希让节点增减时只挪相邻区间数据。二级索引则二选一本地索引写简单但查询 scatter-gather 广播所有分区全局索引查快但写要跨节点更新索引。4. 分区 二级索引——一个难题分区本身不难难在带索引的分区。二级索引非主键索引和 key 分区的关系有两种① 本地索引Local Index / Document-Partitioned每个分区维护自己的索引只覆盖本分区数据。✅ 写简单只写本分区索引❌ 查贵——查所有 score0.8 的文档要scatter-gather发到所有分区每个分区用自己的索引查再合并② 全局索引Global Index / Term-Partitioned索引本身按 term 分区跨数据分区。✅ 查快直接定位到索引分区❌ 写贵——写一条数据要更新多个可能跨节点的索引分区全文检索引擎ES/Quickwit大多用本地索引 scatter-gather每个 shard 有自己的倒排索引检索时 query 广播到所有 shard各 shard 用本地倒排查合并 top-K。这就是检索查询的map-reduce本质每个 shard 算局部 top-Kmap协调者合并全局 top-Kreduce。scatter-gather 的合并开销与返回量正相关——返回越多合并成本越高。5. 分区倾斜与热点即使哈希分区也可能热点某个 key 特别热明星 ID、热门话题。所有请求打到一个分区。解法给热 key 加随机后缀打散但查询要查所有后缀。简单粗暴但有效。Mermaid分区策略与查询模式要范围查询要均匀/无热点要平滑扩缩容怎么分区?Key范围分区哈希分区一致性哈希节点增减少挪数据二级索引怎么办?本地索引每分区自建, 查询scatter-gather全局索引索引按term分区, 写贵查快scatter-gather广播到所有分区合并合并成本与返回量正相关重平衡问题碎片治理合并小分区减少协调开销下一篇第 7 章——事务。从数据怎么分布转向并发访问时怎么保证正确。