简介这份文档面向企业IT运维人员、虚拟化架构师及数据中心规划者系统讲解VMware服务器虚拟化解决方案的完整设计思路帮助解决服务器数量激增带来的资金、人力与管理压力。资源包共1个doc文件大小约3.39MB内容以方案文档形式呈现便于阅读与内部传阅。文档围绕vCompute、vStorage、vNetwork三大方向展开先概述服务器整合、商业连续性与测试开发三类场景再进入实施方案设计涵盖需求分析、方案拓扑图、软硬件需求、基础架构服务层、应用程序服务层、虚拟应用程序层及异地容灾技术并延伸至降低TCO、提升运营效率与服务水平、旧硬件投资保护及同类产品比较等章节。目录结构层次分明适合按模块查阅可作为虚拟化项目立项、方案编写与部署参考的实用材料。目前已有2732人学习下载对希望系统掌握vSphere企业级部署与容灾设计的读者具有较高参考价值。1. 从一台跑着 10% CPU 的旧服务器说起这份 VMware 方案文档到底能解决什么很多公司机房里都躺着几台这样的机器双路四核、32G 内存跑着文件和打印服务、活动目录、DHCPCPU 利用率常年趴在 10% 到 15%但你又不敢把它们合并——因为操作系统版本不一样、安全域不一样、补丁策略不一样硬塞到一台物理机上迟早出事。这份《VMware 服务器虚拟化解决方案(详细).doc》就是冲着这个场景来的它把服务器整合、商业连续性、测试开发三条线的方案设计、软硬件清单、分层架构和容灾思路全部摊开讲了一遍核心落点是 vSphere 这套东西怎么把物理资源池化再按 vCompute、vStorage、vNetwork 三个维度切给不同的业务用。适合正在做数据中心整合方案、需要写实施设计文档、或者想搞清楚 vMotion、HA、DRS 这些功能到底解决什么问题的运维和架构岗。它不是产品手册更像一份可以直接拿去改吧改吧当方案底稿的参考文档。2. 方案的三层骨架vCompute、vStorage、vNetwork 各自管什么这份文档最值得先吃透的是它把整个虚拟化基础架构拆成了基础架构服务层、应用程序服务层和虚拟应用程序层。其中基础架构服务层是地基又细分成 vCompute、vStorage、vNetwork 三块。很多人做方案时把这三块混在一起写结果实施的时候发现资源分配粒度对不上、存储卷扩不了、网络流量隔离没做返工成本极高。先把这三块的分工和关键参数理清楚后面配 vCenter 和 ESXi 主机时才不会来回翻车。2.1 vComputeCPU 和内存的分配粒度决定了整合比vCompute 管的是计算资源的虚拟化文档里明确提了两个要点分配粒度和动态调度。分配粒度上内存可以细化到 MBCPU 可以细化到 MHz粒度越细超分的时候越不容易出现某个虚拟机把物理核吃满导致同主机其他虚拟机卡顿的情况。动态调度靠的是 DRS 和 DPM——DRS 根据负载把虚拟机在不同物理主机之间自动迁移DPM 则在整体负载低的时候把虚拟机集中到少数主机上把空闲主机下电省能耗。实际配置时CPU 超分比一般控制在 4:1 到 6:1内存超分比控制在 1.2:1 到 1.5:1这是比较稳妥的起步值。如果业务里有延迟敏感型数据库CPU 超分比建议压到 2:1 以内并且给虚拟机预留 CPU 周期。内存这块要特别注意超分太多会触发 ballooning 和 swap性能断崖式下跌而且这种下跌在监控上往往表现为“CPU 不高但应用响应慢”排查起来很玄学。# 查看 ESXi 主机上虚拟机的 CPU 和内存超分情况 # 在 vCenter 的 ESXi 主机摘要页可以看到也可以用 esxcli 查 esxcli hardware cpu list esxcli hardware memory get # 查看某台虚拟机的资源预留和限制PowerCLI Get-VM -Name AppServer01 | Select-Object Name, NumCpu, MemoryGB, CpuReservationMhz, MemoryReservationGB上面这段 PowerCLI 用来确认虚拟机的预留值有没有配。参数上CpuReservationMhz 是 CPU 预留单位 MHzMemoryReservationGB 是内存预留单位 GB。如果这两个值是 0说明没有预留在资源争抢时会被 DRS 迁走或者被 ballooning 回收内存。生产环境里核心业务虚拟机建议至少给内存预留CPU 预留按峰值需求的 50% 给。2.2 vStorageVMFS、Thin Provisioning 和 Storage vMotion 的配合vStorage 这块文档重点提了 VMFS 集群文件系统、卷增长、Storage vMotion 和 Thin Provisioning。VMFS 是构建高可用的基础它允许多台 ESXi 主机同时访问同一个存储卷这是 HA 和 vMotion 能工作的前提。卷增长解决的是存储在线扩容问题不用停机就能把卷撑大。Storage vMotion 让虚拟机在存储之间迁移时业务不中断这个在做存储替换或者分层存储时特别有用。Thin Provisioning 是精简配置文档里说能降低超过 50% 的存储成本原理是按实际写入量分配空间而不是按虚拟机磁盘文件声明的大小一次性划走。但 Thin Provisioning 有个坑如果多个虚拟机都开了精简配置存储池的实际使用量会随着写入逐渐逼近声明容量一旦超过物理容量所有虚拟机一起挂。所以监控上必须盯住存储池的 over-provisioning 比例一般建议不超过 2:1并且开启存储告警。# 查看数据存储的精简配置使用情况PowerCLI Get-Datastore | Select-Object Name, CapacityGB, FreeSpaceGB, {NProvisionedGB;E{($_ | Get-VM | Measure-Object -Property ProvisionedSpaceGB -Sum).Sum}} # 查看某台虚拟机磁盘是厚置备还是精简置备 Get-VM -Name AppServer01 | Get-HardDisk | Select-Object Name, StorageFormat, CapacityGBStorageFormat 这个参数会返回 Thick 或 ThinThin 就是精简置备。如果发现某台虚拟机的磁盘是 Thick 且容量很大但实际使用率很低可以考虑用 Storage vMotion 迁移到精简置备的存储上迁移过程中业务不中断但会占用存储带宽建议放在业务低峰期做。2.3 vNetwork虚拟交换机、VLAN 隔离和网卡绑定vNetwork 管的是虚拟网络文档里列了虚拟网卡、vNetwork 虚拟交换机和分布式交换机。虚拟交换机负责虚拟机和物理机之间的二层连接支持 VLAN 分段、流量隔离和网卡绑定。分布式交换机则是把网络管理集中到 vCenter 层面跨多台 ESXi 主机统一配置减少逐台配置带来的不一致问题。网卡绑定这块是实际实施时最容易出问题的地方。文档里提到 NIC/HBA 卡的 Teaming 是基本需求通过多网卡和多 HBA 卡保证冗余。但绑定模式选不对冗余就形同虚设。常见的有基于源端口、基于 IP 哈希、基于源 MAC 哈希几种如果物理交换机不支持动态链路聚合选基于源端口就行如果支持 LACP选基于 IP 哈希能更好地分摊流量。# 查看 ESXi 主机上的虚拟交换机配置 esxcli network vswitch standard list esxcli network vswitch standard portgroup list # 查看物理网卡的上行链路和绑定策略 esxcli network vswitch standard uplink list esxcli network vswitch standard policy failover get -v vSwitch0上面命令里esxcli network vswitch standard list会列出标准交换机的端口数和 MTUportgroup list列出端口组和对应的 VLAN ID。policy failover get返回的 Active Adapters 和 Standby Adapters 就是网卡绑定的主备关系如果 Active 里只有一块网卡那这块网卡一坏网络就断了冗余没生效。实施时一定要确认每台主机的管理网络、存储网络、业务网络各自至少有两条上行链路并且分布在不同的物理网卡上。3. 从需求分析到软硬件清单一份可抄的部署前检查表方案设计阶段最容易犯的错是跳过需求分析直接上拓扑图。文档里把需求分析放在 2.1 节说明这一步不能省。需求分析要盘清楚现有服务器的性能基线、存储容量和增长趋势、网络带宽和隔离要求、未来扩展的可能性。盘完之后再对照软硬件清单逐项确认避免实施到一半发现存储不够或者网卡数量不对。3.1 软件组件清单和版本对应关系文档里列的软件需求是 VMware vSphere 4、VMware vCenter Server 4、Lab Manager 4主要功能包括 HA、vMotion、DRS、Fault Tolerance、DPM、Storage vMotion、vStorage Thin Provisioning、Data Recovery、Update Manager、vShield Zone、Host Profile、vNetwork 等。这些组件不是每个都必装按业务需求选。组件作用是否必选备注ESXi裸机 Hypervisor跑虚拟机必选每台物理服务器装一套vCenter Server集中管理 ESXi 主机和虚拟机必选需要独立虚拟机或物理机vMotion虚拟机在线迁移建议需要共享存储和同网段HA主机故障时自动重启虚拟机建议需要共享存储和冗余网络DRS动态资源调度可选需要 vCenter 和集群Fault Tolerance虚拟机零中断容错可选对 CPU 和网络有额外要求Data Recovery无代理备份可选适合小型环境Update Manager补丁和版本管理建议减少手动打补丁工作量选型上如果预算有限优先保 ESXi vCenter HA vMotion这四个是虚拟化平台的基本盘。DRS 和 FT 可以后续加但要注意 FT 对虚拟机配置有限制比如不支持快照、不支持精简置备磁盘、CPU 核数有限制上之前先确认业务虚拟机能不能满足。3.2 硬件配置的底线和余量文档里给的硬件参考是 20 台服务器加 1 台普通 PC Server共享存储和 FC SAN。具体配置上X3850 至少 4 颗 4 核 CPU、32G 内存、双硬盘 RAID1、双光纤 HBA 卡X3650 至少 2 颗 4 核 CPU、16G 内存、双硬盘 RAID1、双光纤 HBA 卡。这个配置放在今天看不算高但思路是对的CPU 核数决定整合比上限内存决定能跑多少虚拟机双 HBA 卡保证存储路径冗余。实际规划时按每台虚拟机平均 2 vCPU、8G 内存算一台 4 路 4 核、32G 内存的服务器CPU 超分 4:1 能跑 32 个 vCPU内存不超分能跑 4 台 8G 的虚拟机。如果内存加到 128G同样 CPU 能跑 16 台。所以内存往往是瓶颈预算有限时优先加内存。# 查看 ESXi 主机的物理 CPU 和内存总量 esxcli hardware cpu global get esxcli hardware memory get # 查看当前已分配的 vCPU 和内存总量PowerCLI Get-VM | Measure-Object -Property NumCpu -Sum Get-VM | Measure-Object -Property MemoryGB -Sumesxcli hardware cpu global get返回的 CPU Cores 是物理核数memory get返回的 Physical Memory 是物理内存总量。PowerCLI 那两行分别统计所有虚拟机的 vCPU 总数和内存总数用 vCPU 总数除以物理核数就是当前超分比内存总数除以物理内存就是内存超分比。实施前先算一遍心里有数。3.3 拓扑设计管理节点和计算节点的分离文档里的拓扑图虽然没贴出来但从描述看是典型的 vCenter 管理节点加多台 ESXi 计算节点的结构。设计时要注意几点vCenter 最好放在独立的物理机或者集群外的虚拟机上不要放在被它管理的集群里否则集群出问题时 vCenter 也挂了恢复起来很麻烦。共享存储要同时连到所有 ESXi 主机FC SAN 的话每台主机至少两块 HBA 卡分别接到不同的 SAN 交换机。网络方面管理网络、vMotion 网络、存储网络、业务网络最好用 VLAN 隔开避免 vMotion 迁移时把业务带宽吃满。4. 避坑实施 VMware 虚拟化时最容易翻车的五个地方4.1 现象HA 配置了但主机故障后虚拟机没重启原因通常是 HA 的准入控制策略没配对或者主机被置于维护模式时没有正确设置。另一个常见原因是共享存储的路径不通HA 依赖存储心跳存储断了 HA 也判断不了主机状态。解决检查集群的 HA 准入控制策略确保有足够的预留资源确认每台主机的存储路径都是 Active 状态用esxcli storage core path list查看主机进维护模式前先手动迁移虚拟机不要直接关机。4.2 现象vMotion 迁移到 90% 卡住然后失败原因一般是目标主机和源主机的 CPU 不兼容或者 vMotion 网络带宽不够。CPU 不兼容表现为迁移到 90% 左右报错因为 vMotion 在最后阶段要切换 CPU 状态。解决集群里开启 EVC 模式把 CPU 基线统一到较低的一代vMotion 网络至少用千兆最好万兆并且和业务网络分开迁移前用esxcli hardware cpu list对比两台主机的 CPU 型号和特性。4.3 现象虚拟机磁盘文件很大但实际使用率很低原因是虚拟机磁盘用了厚置备创建时就按声明容量划走了空间。如果大量虚拟机都是厚置备存储利用率会很低。解决新建虚拟机时选精简置备已有的厚置备磁盘用 Storage vMotion 迁移到精简置备存储上迁移前确认存储池有足够空间因为迁移过程中会临时占用额外空间。4.4 现象Thin Provisioning 存储池突然满了所有虚拟机挂起原因是多个虚拟机都开了精简置备写入量累积超过了物理容量存储池没有及时扩容。解决监控存储池的 over-provisioning 比例超过 1.5:1 就告警设置存储使用率阈值告警80% 时通知定期用Get-Datastore检查 ProvisionedGB 和 CapacityGB 的差值。4.5 现象网卡绑定配了但拔掉一根网线网络还是断原因是绑定模式选错了或者物理交换机端口没配好。比如选了基于 IP 哈希的模式但交换机没做链路聚合流量还是走一条路。解决确认物理交换机的配置和 ESXi 的绑定模式匹配用esxcli network vswitch standard policy failover get确认 Active Adapters 里有多块网卡测试时拔掉一根线看另一根能不能接管。5. 容灾和扩展从 vApp 到异地恢复的进阶玩法文档最后提到了 vApp 和异地容灾技术虽然容灾部分标注为可选但思路值得展开。vApp 是把多个虚拟机打包成一个逻辑实体用开放虚拟化格式封装多层应用的所有组件和操作策略。实际用起来可以把一个 Web 应用的前端、应用服务器、数据库打包成一个 vApp部署时一次性拉起不用逐台配。异地容灾这块文档提到 VMware 平台上的应用是以文件形式存在且脱离具体硬件的所以容灾设计不需要像传统方式那样搭复杂的物理环境。进阶用法上我一般会做两件事一是用 Host Profile 把 ESXi 主机的配置模板化新主机上线时直接套模板减少手动配置差异二是用 Update Manager 做补丁基线先在一个测试集群里推补丁观察一周没问题再推到生产集群。验证方法上HA 和 vMotion 不能只看配置要实际演练手动关掉一台 ESXi 主机看虚拟机有没有在别的节点上重启手动触发一次 vMotion看业务有没有中断。演练前做好快照演练后检查虚拟机的事件日志确认没有报错。# 查看集群的 HA 和 DRS 配置PowerCLI Get-Cluster -Name ProductionCluster | Select-Object Name, HAEnabled, DrsEnabled, DrsAutomationLevel # 查看虚拟机的 HA 重启优先级 Get-VM -Name AppServer01 | Select-Object Name, HAStartPriority, HARestartPriority # 查看最近的任务事件确认 vMotion 和 HA 有没有异常 Get-VIEvent -MaxSamples 50 | Where-Object {$_.FullFormattedMessage -match vMotion|HA}HAStartPriority和HARestartPriority这两个参数控制虚拟机在 HA 触发时的重启顺序核心业务设成 High非核心设成 Medium 或 Low。Get-VIEvent那行用来翻最近的事件日志如果看到 vMotion 失败或者 HA 重启超时的记录就要顺着查存储和网络。从那以后我每次做虚拟化方案都会先把 vCompute、vStorage、vNetwork 三块的参数表填一遍再对照软硬件清单逐项打勾最后在测试环境里把 HA 和 vMotion 各演练一次才敢上生产。希望帮到你。本文还有配套的精品资源点击获取