做网络运维这些年防火墙双机热备是我见过最务实、也最容易被忽视的一项配置。很多朋友一提到RBMVRRP脑子里就浮现一堆命令行要么对着文档一行行抄要么在设备上死记硬背最后改一个接口就全乱了。其实H3C防火墙这套高可用方案完全可以在Web界面里完成而且逻辑理顺之后比命令行更直观RBM负责把配置和会话状态实时同步到备用设备VRRP负责让两台设备共享一个虚拟网关并自动选举主备两者配合起来设备宕机时业务基本不断。这篇文章就围绕这套方案展开讲清楚原理、配置步骤和排错思路适合正在用H3C防火墙、想给网络出口做高可用改造或者刚接手双机热备维护的朋友照着实操。1. 先把原理讲透RBM和VRRP在双机热备里各管什么1.1 防火墙出口的单点故障代价可能比你想象的大很多网络环境里防火墙是整个内网和外网之间的唯一通道。不管下面接的是几百人的办公网还是带生产系统的业务网只要这台防火墙出问题影响面就是全公司级别的。我见过太多案例设备用了五六年没升级某个晚上电源模块挂了第二天早上全公司上不了网IT被电话轰炸。更麻烦的是防火墙这种设备不像交换机随便找一台顶上去就行安全策略、NAT映射、路由表、会话状态都是活的重新配置一台新设备没个把小时搞不定。双机热备解决的就是这个单点故障问题。两台防火墙一主一备正常工作时主设备转发流量备用设备在旁边待命主设备一旦宕机或者链路异常备用设备立刻接管虚拟网关继续转发流量。但光有设备冗余还不够防火墙是状态检测设备用户正在访问的网页、正在传输的文件都会在防火墙上生成会话表项。如果切换后这些会话丢了所有连接都要重新建立用户能感知到断网、掉线。所以真正合格的双机热备除了要解决谁来转发的问题还必须解决会话怎么保住的问题这两个问题分别由VRRP和RBM负责。1.2 RBM负责同步状态VRRP负责虚拟网关冗余先把两个术语拆开看。VRRP全称是Virtual Router Redundancy Protocol虚拟路由器冗余协议。它的作用是让两台防火墙共用一个虚拟IP地址这个虚拟IP就是内网终端的网关。通过优先级选举主设备成为Master拥有虚拟IP并响应ARP请求备用设备是Backup监听Master的心跳报文。一旦Master在几个周期内没有发送通告Backup会立即接管虚拟IP变成新的Master。这样终端不用改任何配置网关地址没变ARP也能自动刷新。RBM全称是Remote Backup Management远程备份管理。它做两件事配置备份和会话备份。配置备份指的是主设备的配置变更会自动同步到备用设备省去两台设备分别改配置的麻烦会话备份指的是主设备上的会话表项、NAT表项实时同步到备用设备保证切换之后原有连接能无缝继续。打个比方VRRP是前台经理负责对外宣布我现在接管业务RBM是后台档案室把客户的所有办理记录实时复印一份给备用前台。光有档案没有前台业务没人接待光有前台没有档案客户一来全都办不了。所以H3C的方案里RBM和VRRP必须联动使用单独配任何一样都是半吊子。1.3 主备备份与负载分担两种工作模式怎么选H3C双机热备支持两种工作模式主备备份Active/Standby和负载分担Load Balance。选哪种不是拍脑袋决定的看业务需求。对比项主备备份模式负载分担模式流量转发只有主设备转发两台设备同时转发不同VRRP组设备利用率备用设备平时闲置两台设备都能跑业务配置复杂度相对简单需要规划多个VRRP备份组故障切换影响主设备宕机备机全量接管各自负责的VRRP组分别切换适用场景出口链路、核心安全设备业务量大、希望充分利用设备性能绝大多数场景比如公司出口防火墙、分支互联防火墙用主备备份就够了。负载分担适合吞吐量要求高、一台设备跑不满带宽的场景它其实是通过多条VRRP备份组实现的VRRP备份组1在A设备上是MasterVRRP备份组2在B设备上是Master两边各带一部分业务互为备份。如果你刚开始接触双机热备我建议先用主备模式跑通理解清楚整体逻辑之后再考虑负载分担。2. 动手前必做的功课拓扑、地址、安全域一张表列清楚2.1 一套标准的双机热备组网长什么样先别急着登设备把拓扑在脑子里过一遍。两台上联口接外网下联口接内网交换机这是最典型的防火墙部署。双机热备模式下两台防火墙之间会多一条心跳链路这根链路走RBM协议专门用来同步配置和会话必须单独规划。推荐两种心跳接法一是两台防火墙的心跳口直接互联不经过任何交换机这叫直连最稳不受中间设备故障影响二是经过一对冗余交换机用独立VLAN隔离业务适用于两台设备物理距离较远、没法直连的场景。我个人的建议是能直连就直连省事而且好排查问题。下联交换机也尽量接两台每台防火墙各接一台形成双上行架构。这样不管是防火墙本身挂了还是某一台的链路断了都能自动切换。如果只有一台交换机防火墙高可用了交换机又成了新的单点意义打折。2.2 一张表把接口IP和虚拟IP规划完配置之前先把所有接口地址列出来尤其是两台设备的接口编号最好保持一致。比如A设备用GigabitEthernet1/0/1做上联B设备也用GigabitEthernet1/0/1做上联这样RBM配置同步的时候接口配置才能无缝映射不会出现接口错位。下面是一份主备模式下的规划示例可以直接参考规划项主设备FW-A备设备FW-B说明上联接口G1/0/1203.0.113.2/30203.0.113.6/30各自独立地址也可配VRRP虚拟地址上联VRRP虚拟IP203.0.113.1/30203.0.113.1/30对端网关指向这个地址下联接口G1/0/0192.168.1.254/24192.168.1.253/24两台真实接口IP不同下联VRRP虚拟IP192.168.1.1/24192.168.1.1/24内网终端网关填这个心跳口G1/0/210.0.0.1/2410.0.0.2/24独立网段直连或走独立VLANVRRP优先级120100主设备优先级高RBM角色首选设备备用设备配置同步以首选设备为准注意一个细节VRRP虚拟IP和接口真实IP是两回事。接口IP是设备自己的管理、转发地址虚拟IP是终端和上层设备感知到的网关地址。下联接口上FW-A的真实IP是192.168.1.254FW-B是192.168.1.253虚拟IP是192.168.1.1。FW-A作为Master对外响应192.168.1.1的ARPFW-B时刻准备接替。上联口同理对端路由器或运营商的网关配VRRP虚拟IP作为下一跳地址即可。2.3 登进Web界面后先做这三件基础事很多新人一上来就直奔双机热备菜单结果配置到一半发现路由不通、安全策略没放行又倒回去改白白浪费时间。正确顺序是先把基础网络搭通。第一件事给两台防火墙配置接口IP把接口加入正确的安全域。比如上联口加入Untrust域下联口加入Trust域心跳口我建议单独规划一个安全域比如HA域方便后续配置策略和管理维护。第二件事配置默认路由或者动态路由。去往对端网关的出口路由必须让两台设备都能正常转发否则就算VRRP切过去了备机也不知道往哪转发流量。第三件事确认基础连通性。从内网终端ping防火墙接口IP从上联口ping对端网关确认二层三层都是通的再开始进入双机热备配置。这步能排除掉至少一半的后续排查问题。3. Web界面配置全过程从RBM通道到会话同步一次搞定3.1 第一步配置RBM双机热备成员和通道登录H3C防火墙的Web界面不同软件版本的菜单位置会有差异常见的是在左侧导航找到高可靠性或者双机热备、远程备份管理这一类菜单。找不到不要慌先看Web界面里有没有带双机热备关键字的功能或者用命令行敲display current-configuration | include remote-backup看一眼现有配置确认版本支持情况。进入双机热备页面后先把功能开关打开选择工作模式。主备备份模式下填写本端成员名称和对端成员名称这个名称只是一个标识用来区分两台设备按自己的命名习惯填就行。然后配置RBM通道核心是两条信息本端心跳口和对端地址。心跳口选刚才规划好的G1/0/2本端地址填10.0.0.1对端地址填10.0.0.2。RBM通道还有一个认证或者预共享密钥的设置项建议填上。原因很实在RBM报文在心跳链路上传输虽然没有直接暴露在业务网络中但万一心跳口接到了交换机的某个VLAN环境复杂时存在被其他设备探测的风险。加一层认证可以避免设备不知不觉被假报文干扰成本很低。配置完成后点应用正常情况下两台设备的双机热备页面会显示通道已建立之类的状态。如果显示通道未建立先别继续往下配优先解决这个问题。排查方法后面专门讲。3.2 第二步创建VRRP备份组并关联到RBMRBM通道建立之后开始配置VRRP。在Web界面的网络或者VRRP菜单里新建备份组选择下联接口G1/0/0填写VRID虚拟路由器ID和虚拟IP地址。VRID在同一台设备上不能重复两台防火墙对应同一个VRRP备份组VRID必须一致比如都用10。关键参数有这么几个优先级主设备设120备用设备设100差距超过10以上确保Master选举结果稳定。注意优先级范围是1到254默认是100如果两台都是100选举结果就不确定。抢占模式推荐开启。开启后如果主设备恢复而且优先级更高会自动重新抢占Master角色。很多人图省事关掉抢占结果主设备恢复后状态不一致反而乱套。抢占延迟建议设置60到120秒。这个参数的意思是当主设备恢复后先等一段时间再抢占给链路、路由收敛留出缓冲避免刚恢复就抢回来、抢回来又抖动造成业务多次闪断。接口联动监控这个很容易被忽略。VRRP默认只监控VRRP协议报文如果主设备的业务接口物理down了VRRP还要等几个超时周期才能感知。在Web界面里添加联动监控接口把上联口和下联口都加进去一旦这些接口故障本机优先级自动降低备机可以更快接管。在主设备上配置完成后备用设备上也要配对应的VRRP备份组。如果稍后开启了配置同步备机这部分配置会被主机自动同步过来但前提是RBM通道稳定。为了减少变量我习惯先手动把两台设备的VRRP都配出来确认状态正常之后再开启配置同步。还有一个关键操作把VRRP备份组和RBM双机热备组关联起来。这一步在双机热备页面里操作把刚才创建的VRID填进双机热备的VRRP关联列表。为什么要关联因为VRRP负责的是虚拟IP的漂移RBM负责的是会话的同步方向。只有让两者联动当VRRP发生主备切换时RBM才能立刻感知并调整会话同步方向否则容易出现地址已经切了但会话还在往老机器上同步的错位情况。3.3 第三步开启配置同步与会话同步到了这一步离成功只差临门一脚。在双机热备功能里找到同步策略设置重点看两个开关配置同步和会话同步。配置同步建议最后再打开。顺序很讲究先把两台设备的基础配置、安全策略、路由、VRRP都手动确认无误再在主设备上开启配置同步。开启之后在主设备上做的所有后续调整都会自动下发到备用设备。这里有个特别容易踩的坑配置同步是单向的从首选设备到备用设备。主设备上开着配置同步没有关系但备用设备上千万别也开着否则两台设备会互相覆盖配置出现配置反复跳变、设备行为异常的现象。会话同步默认建议开启。会话同步的作用是把主设备上的会话表项、NAT表项实时复制到备用设备。切换时备用设备已经有全部会话信息原有连接不用重新建立用户几乎无感知。Web界面上一般还能选择同步策略比如是否同步UDP会话、是否同步NAT会话、是否开启TCP会话的序列号同步等按默认选项通常够用。如果业务里有大量长连接比如视频监控、数据库连接池需要额外确认这些会话能否正常同步。开启之后可以在Web界面上看到配置同步状态和会话同步状态正常应该显示类似已开启、统计数量在增长之类的信息。会话同步状态下主设备的会话表项数量会实时反映到备机上数字差不多就说明同步正常。3.4 第四步验证双机热备是否正常配置全部完成进入验证环节。我把验证分成三层每一层都不能省。第一层看状态。Web界面上确认双机热备的工作状态显示为正常或者主备状态VRRP页面显示一台设备是Master、另一台是Backup虚拟IP的持有者必须是Master设备。命令行下也可以看H3C的常用命令如下display rbm display vrrp display session synchronizationdisplay rbm看通道状态和成员信息display vrrp看VRRP备份组的状态和优先级display session synchronization看会话同步的统计值。这些命令顺手记一下Web界面虽然直观但命令行在故障排查时更精确。第二层测切换。在业务低峰期从内网终端持续ping外网地址ping包不要停然后直接把FW-A的电源断掉。观察两个现象一是ping包丢了多少正常情况应该丢几个包就恢复如果配置了快速切换丢包数是个位数二是FW-B是否自动成为Master并且继续转发流量。如果ping直接断了不恢复说明会话同步或者路由有问题马上查。第三层测恢复。把FW-A重新开机确认它启动完成后能和FW-B重新建立RBM通道然后经过配置的抢占延迟之后自动恢复Master角色。这个测试很关键因为很多双机热备在切换过去时是好的但切回来时出问题。如果FW-A回来之后没有抢回Master检查它的优先级是否真的比FW-B高抢占模式是否开启。4. 踩坑实录RBM起不来、VRRP不切换、会话不同步怎么排查4.1 RBM通道一直起不来八成是这几个原因RBM通道建立不起来是最常见的第一道坎。遇到这种情况按下面的顺序排查。先看物理层。心跳口链路是否up网线是不是松了光模块有没有完好的收发光。如果心跳线是通过交换机转接的确认两边的VLAN一致、端口是Access模式且PVID正确这种环节最容易被忽略。再看IP层。心跳口两端的IP地址是否在同一个网段有没有被其他路由干扰。RBM要求心跳口之间三层可达如果中间串了其他防火墙或者三层路由设备需要额外确认相关流量放行。然后看配置层。两台设备都开启了双机热备功能吗工作模式是否一致认证密钥是否一致有些版本要求两台设备的软件版本保持一致版本相差太远会导致握手失败看日志里会出现类似RBM握手超时的记录。Web界面和命令行都可以查看RBM日志定位到具体的拒绝原因比瞎猜效率高得多。最后说一个冷门的坑有些型号的心跳口如果也加入了某个安全域且该安全域策略在本地拒绝了本机流量可能导致RBM报文被丢弃。正常情况下设备本机发出的协议报文不受安全策略管控但某些版本行为略有差异。如果上面几层都排除了尝试把心跳口单独划一个安全域并且不要在这个域上配置过于严格的本地策略。4.2 VRRP主备不切换优先级和抢占是重灾区配置一切正常状态也显示一主一备但手动故障切换时备机就是不接管。第一反应检查优先级主设备优先级必须比备机高而且是接入同一个VRRP备份组的两台设备之间进行比较。如果两边优先级都是默认的100VRRP不会稳定切换。第二个原因抢占模式被关闭。关闭抢占之后即使主设备挂了、备机接管了主设备恢复后也不会主动抢回Master。有些环境故意这么配防止来回切换但如果是默认配置主设备恢复后长期处于Backup状态优先级高却没接管业务容易引起混乱。第三个原因也是新手最容易忽略的是VRRP只监控了协议本身没有联动业务接口。主设备的上联光路断了但VRRP报文还在正常发送备机自然认为主设备没问题。配置VRRP时记得把上下联的关键接口加入联动监控列表一旦业务接口故障本机优先级自动降级备机才能快速接管。还有一个小细节如果你在防火墙上跑了多个VRRP备份组比如内网和外网各一个两个备份组的切换逻辑尽量保持一致避免内网已经切到FW-B了外网还在FW-A上导致路由不对。负载分担模式下尤其要注意这一点。4.3 切换之后业务还是断问题多半出在会话同步切换成功了虚拟IP也漂移了但业务还是断这种情况最让人抓狂。排除掉终端ARP缓存的问题后重点查会话同步。先确认会话同步开关确实开着。有些版本默认同步的是所有会话有些是部分会话检查Web界面的会话同步选项把TCP、UDP、NAT会话同步都打开。再看同步方向。主备备份模式下会话同步是单向的从主设备同步到备机。如果开启了两台设备互相备份的负载分担模式同步是双向的。如果模式配错了会出现备机永远拿不到会话表项的情况。还有一种情况切换了但NAT表项没有同步。防火墙出口做NAT是常态旧连接建立在主设备的NAT映射上备机如果不知道这个映射数据包到了备机后无法正确转换运维看到的现象就是ping可以通新建连接但已有业务全断。所以会话同步一定要把NAT会话同步选项勾上。最后提醒一点会话同步是实时机制不是备份完成就一劳永逸。如果主设备上并发会话量特别大比如几十万条会话RBM通道带宽不够或者心跳口打满同步会出现延迟切换时还是会有部分连接断掉。规划心跳口带宽时别抠门至少千兆起步条件允许可以考虑万兆。4.4 配置同步是把双刃剑用不好会反向坑自己配置同步是个好东西但也是维护事故高发区。最常见的事故是这样发生的热备搭建完成配置同步正常某次变更时运维忘记自己操作的是备用设备直接在备机上改了安全策略。配置同步单向模式下这个改动会一直存在直到主设备下次做变更时被同步覆盖或者反过来主备双向同步时直接把主设备的正确配置覆盖了。所以我的习惯是平时登录设备先确认自己当前操作的是哪一台。在Web界面或者命令行里设备的登录提示、主机名都能看出来。变更之前先看一眼双机热备状态确认谁是首选设备再动手。另一个坑是版本升级。双机热备状态下做版本升级必须先断开RBM通道也就是先关闭双机热备功能然后两台设备分别升级升级完成后重新开启热备并确认配置同步。如果不做这步升级过程中新旧版本之间的RBM报文格式不一致轻则热备失效重则配置混乱。还有一个建议开启配置同步之后主设备上删配置要格外小心。同步机制会把删除操作也同步过去比如不小心删了一条安全策略备机上同样的策略也会被删掉。如果发现删除错了尽快在主设备上重新添加让它同步回去才安全。4.5 双机热备不是配完就完事巡检建议收好最后聊聊日常维护。热备做完如果长时间不管链路抖动、版本不匹配、会话同步异常这些问题会慢慢冒出来。建议把下面几项加入你的巡检清单每周看一次RBM通道状态确认通道UP、同步计数在增长。每月做一次主备切换演练别等到真故障才发现切不过去。演练时注意选择业务低峰期提前通知相关同事。定期核对两台设备的配置差异配置同步不是万能的有些系统内部参数可能不会同步。监控日志里重点看RBM告警、VRRP状态变化记录出现异常及时处理。保存好每台设备当前版本的配置备份文件尤其是热备关键配置恢复时能少走很多弯路。我个人在实际操作中还有两个习惯一是把每次变更前后双机热备页面截图存档出了问题可以直接对比最近一次正常状态二是所有涉及双机热备的变更无论大小都写一份操作记录标明时间、操作人、变更内容、验证结果。时间长了你会发现这套东西的价值不亚于配置本身。最后再分享一个小技巧如果Web界面版本较老、菜单不好找整台防火墙的配置逻辑其实是互通的你完全可以在命令行先把RBM和VRRP的配置调到理想状态再用display current-configuration看实际生成的配置回头在Web界面里反查对应关系。两种手段互相印证理解和排错都会快很多。双机热备这件事难的不是命令是搞清楚主备之间每一层依赖关系。把这个关系理顺了Web界面配置反而是最省心的一条路。