用两阶段限流实现 Harness 的全局限速与单租户公平1. 引入与连接：从流量控制的痛点说起1.1 引人入胜的开场：当系统遭遇"洪峰"想象一下，你是一家SaaS公司的技术负责人，刚刚推出了一款备受欢迎的持续集成/持续部署(CI/CD)平台Harness。在产品发布会后的第一个工作日，用户注册量激增，同时活跃用户开始疯狂使用你的平台。系统监控面板上的请求量曲线像火箭一样垂直上升，服务器负载告警此起彼伏，数据库连接池迅速耗尽，最终整个系统陷入了瘫痪状态。更糟糕的是，你发现并不是所有用户都在公平地使用系统资源。少数几个大型企业用户正在执行大规模的部署任务，占用了系统90%以上的资源，而其他数千个中小型用户却连基本的API请求都无法成功响应。客户支持电话被打爆，社交媒体上一片抱怨，公司声誉岌岌可危。这是一个典型的分布式系统流量控制失败场景。在这个场景中，我们面临着两个核心问题：如何在系统整体负载过高时进行有效的全局限流，以及如何确保资源在不同租户间的公平分配。这正是我们今天要探讨的主题——如何通过两阶段限流机制在Harness平台上同时实现全局限速与单租户公平。1.2 与读者已有知识建立连接如果你曾经开发或维护过Web应用、API服务或分布式系统，那么你很可能已经接触过某种形式的限流机制。你可能使用过Nginx的限流模块，或者在应用层实现过基于Redis的滑动窗口算法。你或许知道令牌桶算法和漏桶算法的区别，也了解什么是"削峰填谷"。但是，当系统规模扩大到多租户架构，当我们需要同时考虑全局资源限制和个体公平性时，简单的单机限流或单一维度的限流策略就显得力不从心了。这就需要我们设计更复杂、更精巧的限流架构。让我们将这个问题与我们熟悉的场景联系起来。想象一家受欢迎的餐厅：全局限速就像是餐厅的总座位数，无论多少顾客来，餐厅同时接待的顾客总数不能超过座位数；单租户公平就像是给每个预订的顾客分配一定数量的座位，防止一个大型派对占用所有座位，让其他顾客无法就餐。两阶段限流机制就像是餐厅的管理策略：首先确保餐厅不会超员（第一阶段，全局控制），然后确保每个顾客或顾客群体都能公平地享用餐位（第二阶段，租户级控制）。1.3 学习价值与应用场景预览通过阅读本文，你将：深入理解两阶段限流的设计理念和实现原理；掌握如何在实际系统中同时实现全局限速和单租户公平；获得可直接应用于生产环境的算法实现和系统架构设计；了解Harness平台如何应用这一机制解决实际问题。这一机制不仅适用于CI/CD平台，也广泛应用于以下场景：多租户SaaS平台的API管理；微服务架构中的服务间调用控制；云服务提供商的资源配额管理；消息队列系统的消费速率控制；数据库连接池的资源分配。1.4 学习路径概览我们将按照知识金字塔的结构，从基础概念到深入原理，再到实践应用，逐步构建对两阶段限流的全面理解：概念地图：我们将首先构建核心概念的整体框架，明确两阶段限流、全局限速、单租户公平等关键概念之间的关系。基础理解：通过生活化的类比和简化模型，建立对核心概念的直观认识。层层深入：从基本原理到底层逻辑，逐步增加理解的复杂度。多维透视：从历史、实践、批判和未来等多个角度审视这一机制。实践转化：提供具体的实现代码、系统设计和最佳实践。整合提升：总结核心观点，提供进一步学习的资源和路径。现在，让我们开始这段知识探索之旅。2. 概念地图：建立整体认知框架在深入探讨两阶段限流的技术细节之前，让我们先构建一个清晰的概念地图，帮助我们理解核心概念及其相互关系。2.1 核心概念与关键术语2.1.1 限流(Rate Limiting)限流是一种控制网络流量或系统资源使用的技术，用于防止系统被过量请求过载，确保服务的稳定性和可用性。它本质上是一种资源分配策略，决定了谁可以在何时使用多少资源。2.1.2 全局限速(Global Rate Limiting)全局限速是指对整个系统或服务的总请求量进行限制，而不考虑请求来源。它确保系统整体负载不会超过其设计容量，类似于水库的总库容限制。2.1.3 单租户公平(Per-Tenant Fairness)在多租户系统中，单租户公平是指确保每个租户（用户、组织或应用）都能公平地访问系统资源，防止少数租户占用绝大部分资源而影响其他租户的正常使用。2.1.4 两阶段限流(Two-Stage Rate Limiting)两阶段限流是一种分层限流策略，首先在全局层面控制总流量，然后在租户层面确保资源的公平分配。它结合了全局限流和单租户限流的优点，既能保护系统整体稳定性，又能保证租户间的公平性。2.1.5 HarnessHarness是一个现代的持续集成/持续部署(CI/CD)平台，它帮助开发团队自动化构建、测试和部署软件。作为一个多租户SaaS平台，它需要有效的限流机制来确保系统稳定性和租户公平性。2.2 概念间的层次与关系让我们用一个层次结构来组织这些概念：限流(Rate Limiting) ├── 按范围分类 │ ├── 全局限流(Global Rate Limiting) │ └── 局部限流(Local Rate Limiting) ├── 按对象分类 │ ├── 单租户限流(Per-Tenant Rate Limiting) │ ├── 单用户限流(Per-User Rate Limiting) │ └── 单API限流(Per-API Rate Limiting) └── 按策略分类 ├── 两阶段限流(Two-Stage Rate Limiting) ├── 令牌桶(Token Bucket) ├── 漏桶(Leaky Bucket) └── 滑动窗口(Sliding Window)两阶段限流是一种策略，它结合了全局限流和单租户限流，形成了一个两层结构：第一层：全局限流，确保系统总负载不超过容量；第二层：单租户限流，确保每个租户获得公平的资源份额。2.3 学科定位与边界两阶段限流属于分布式系统和服务治理领域，它与以下学科密切相关：分布式系统设计：涉及分布式环境下的状态一致性和协调；服务质量(QoS)保证：确保服务在各种负载下都能提供可接受的性能；资源调度与分配：优化有限资源的使用效率；性能工程：分析和优化系统性能。两阶段限流的边界在于：它主要关注请求频率和并发数的控制，不直接处理请求优先级或服务降级；它需要与其他机制配合使用，如负载均衡、熔断和降级，才能构建完整的系统保护体系；它的有效性依赖于准确的流量预测和合理的阈值设置。2.4 概念联系的ER实体关系图让我们用ER图来更直观地展示这些概念之间的关系：includesincludesuses_as_first_stageuses_as_second_stageprotectsenforceshasimplementsservesRATE_LIMITINGGLOBAL_RATE_LIMITINGPER_TENANT_RATE_LIMITINGTWO_STAGE_RATE_LIMITINGSYSTEM_CAPACITYTENANT_QUOTATENANTHARNESS_PLATFORM这个ER图展示了：两阶段限流如何组合全局限流和单租户限流；全局限流如何保护系统容量；单租户限流如何执行租户配额；Harness平台如何实现两阶段限流并服务多个租户。2.5 交互关系图下面我们来看一下两阶段限流在实际请求处理流程中的交互关系：共享存储实际服务租户限流器全局限流器租户应用共享存储实际服务租户限流器全局限流器租户应用