Vcenter 6.7证书过期连环坑从503报错到密码错误我的完整修复记录凌晨2点15分手机警报突然响起——监控系统显示生产环境的Vcenter服务不可用。作为运维负责人我立刻远程连接服务器映入眼帘的是熟悉的503报错页面。这原本应该是一次常规的证书更新操作却意外演变成持续6小时的噩梦级排障之旅。本文将完整还原这次事故中遇到的每一个坑以及如何通过vdcadmintool和certificate-manager两大神器最终化险为夷。1. 故障初现当503遇上服务启动失败连接SSH后首先检查服务状态执行service-control --status --all显示多项关键服务异常。尝试启动全部服务时遇到了第一个意外rootvc01 [ ~ ]# service-control --start --all ... Failed to start eam, sca, sps, vpxd, content-library, cis-license, vsphere-client, vsphere-ui, analytics, vapi-endpoint, statsmonitor, vmware-postgres-archiver, vsan-health, vpxd-svcs services. Error: Operation timed out此时访问Web界面返回的503错误信息尤为关键503 Service Unavailable (Failed to connect to endpoint: [N7Vmacore4Http20NamedPipeServiceSpecE:0x0000558db7faee10] _pipeName/var/run/vmware/vpxd-webserver-pipe)关键诊断步骤检查/var/log/vmware/vpxd/vpxd.log发现大量证书验证失败记录确认机器SSL证书有效期openssl x509 -in /etc/vmware-vpx/ssl/rui.crt -noout -dates发现证书已于3天前过期注意此时若直接替换证书可能遭遇签名无效错误需先解决根证书链问题2. 证书修复的深水区当常规方案失效参照官方文档执行fixsts.sh脚本后服务依然无法启动。这是第一个重大转折点——常规修复流程在6.7版本可能不完全适用。通过分析日志发现更底层的问题/var/log/vmware/vmdird/vmdird.log: [ERROR] SSL handshake failed: error:1417A0C1:SSL routines:tls_post_process_client_hello:no shared cipher此时需要采用核武器级解决方案——完全重建证书链。进入/usr/lib/vmware-vmca/bin/certificate-manager选择第4项| 4. Regenerate a new VMCA Root Certificate and | | replace all certificates |操作流程中的关键配置项参数项推荐值必填说明CountryCN必须符合PKI标准Organization公司英文名需与原有证书保持一致Hostnamevc01.yourdomain.com必须使用完整FQDNIPAddress192.168.1.100多个IP用逗号分隔3. 意外转折管理员密码突然失效当执行到证书替换的身份验证步骤时系统提示Enter username [Administratorvsphere.local]: Enter password:连续三次输入确认正确的密码后竟然返回认证失败这是本次排障最令人崩溃的时刻。经过排查发现证书过期导致SSO服务异常密码策略服务停止工作最后一次密码修改未正确同步到目录服务密码重置操作实录rootvc01 [ ~ ]# /usr/lib/vmware-vmdir/bin/vdcadmintool 3. Reset account password Please enter account UPN : administratorvsphere.local New password is - ZIP|*|*6:oNnzoU/8P1紧急提示获取到临时密码后需立即登录Web控制台修改该密码仅一次性有效4. 完整修复流程与验证完成证书重建和密码重置后需要按顺序执行以下操作服务重启序列service-control --stop --all service-control --start --all验证关键服务vpxd核心服务vsphere-uiWeb界面vmdird目录服务证书链验证openssl verify -CAfile /etc/vmware-vmca/root.cer \ /etc/vmware-vpx/ssl/rui.crt最终检查清单检查项预期结果实际结果Web登录正常加载API调用返回有效数据vCenter HA状态正常备份作业可正常创建凌晨5点40分当绿色登录界面终于出现在屏幕上时我做了三件事立即修改管理员密码、创建新的证书过期监控项、在知识库中详细记录本次故障的所有细节。这次经历再次证明——在虚拟化环境中证书管理绝不是简单的到期更新而是需要建立完整的生命周期监控体系。