1. 当Kubernetes调度遇上挖呀挖一场集群资源的精准耕作在Kubernetes集群管理的世界里资源调度就像在数字花园中耕作——你需要知道在哪里播种调度Pod、如何施肥分配资源、何时修剪驱逐低优先级任务。最近爆火的挖呀挖儿歌意外地成为了我们团队内部形容kube-scheduler工作原理的暗号。每当有同事抱怨Pod为什么卡在Pending状态时总会有人哼起在k8s调度的花园里面挖呀挖呀挖用合适的Node种小小的Pod...2. 调度器工作原理深度解析2.1 调度流水线四步走典型的kube-scheduler工作流程就像园丁的日常工作清单过滤阶段Filtering用NodeAffinity、Taints/Tolerations等条件筛掉不符合要求的节点相当于先排除石头地、盐碱地等不适合耕种的土地打分阶段Scoring对剩余节点按资源余量、均衡性等指标评分就像评估哪块地光照更充足、土壤更肥沃绑定阶段Binding将Pod与最佳Node绑定完成播种动作抢占阶段Preemption当高优先级Pod需要资源时会优雅终止低优先级Pod相当于间苗实战技巧通过kubectl describe pod pod-name查看Events字段能清晰观察到调度器决策过程2.2 调度策略配置实战这是我们在生产环境使用的调度策略配置片段apiVersion: kubescheduler.config.k8s.io/v1beta3 kind: KubeSchedulerConfiguration profiles: - schedulerName: default-scheduler plugins: score: enabled: - name: NodeResourcesBalancedAllocation weight: 2 - name: NodeAffinity weight: 1这个配置特别强调了资源分配的均衡性权重2确保不会出现某些节点过载而其他节点闲置的情况就像均匀分布不同作物的种植密度。3. 高级调度模式详解3.1 拓扑分布约束Topology Spread Constraints当我们需要将Pod像作物一样均匀分布在不同可用区时spec: topologySpreadConstraints: - maxSkew: 1 topologyKey: topology.kubernetes.io/zone whenUnsatisfiable: DoNotSchedule labelSelector: matchLabels: app: nginx这个配置确保每个可用区的nginx Pod数量差异不超过1相当于在花园的每个区域均匀种植同种花卉。3.2 资源配额与限制实践我们曾经遇到过因为未设置资源限制导致节点过载的惨痛教训。现在团队强制要求所有Pod必须声明requests和limitsresources: requests: cpu: 500m memory: 512Mi limits: cpu: 1000m memory: 1Gi这就像明确规定每株作物需要的水量范围——太少会枯萎太多会浪费。4. 常见调度问题排查指南4.1 Pod卡在Pending状态的7个原因我们整理了排错检查清单症状表现可能原因检查命令0/1 nodes available资源不足kubectl describe nodedidnt have free ports端口冲突kubectl get endpointsnode(s) didnt match constraints节点选择器错误kubectl get pod -o yaml4.2 调度性能优化当集群规模超过500节点时我们采用了以下优化措施启用调度器缓存默认开启设置percentageOfNodesToScore: 50%大型集群可降低此值使用多个调度器分片5. 自定义调度器开发入门5.1 实现基本调度框架这是一个Go语言调度器的最小实现func main() { clientset : createClient() informerFactory : informers.NewSharedInformerFactory(clientset, 0) scheduler : NewScheduler( clientset, informerFactory.Core().V1().Nodes(), informerFactory.Core().V1().Pods(), ) informerFactory.Start(wait.NeverStop) scheduler.Run() }5.2 调度算法扩展点可以覆盖的决策点包括PreFilter前置检查Filter节点过滤PostFilter抢占逻辑Score节点评分Reserve资源预留我们团队基于这些扩展点开发了考虑GPU碎片化的定制调度器将GPU利用率提升了40%。6. 多集群调度实践6.1 Cluster API集成使用Cluster API管理多集群调度时关键配置包括apiVersion: cluster.x-k8s.io/v1beta1 kind: Cluster metadata: name: prod-cluster spec: topology: workers: machineDeployments: - class: worker-medium replicas: 56.2 联邦调度策略跨集群部署应用时我们使用如下分布策略placement: clusterAffinity: clusterNames: - cluster-1 - cluster-2 spreadConstraints: - maxGroups: 2 minReplicas: 1这相当于在不同花园区域种植相同作物确保灾害时的冗余性。在经历了无数次挖呀挖的调试过程后我们总结出Kubernetes调度的黄金法则明确的资源请求、合理的分布策略、持续的性能监控。当你在调度花园里挖得越深就越能体会到这个系统的精妙设计——它就像最智能的自动灌溉系统让每个Pod都能在最适合的节点上茁壮成长。