1. 堆叠不是插上线就完事先搞清楚它到底解决什么问题很多人第一次接触交换机堆叠脑子里想的都是把几台设备用线连起来端口翻倍就完事了。我刚开始也是这么理解的直到有一次在机房里折腾到凌晨两点才发现事情远没有这么简单。堆叠IRF智能弹性架构本质上是把多台物理交换机虚拟化成一台逻辑设备对外只呈现一个管理入口、一个控制平面、一套转发逻辑。这意味着你登录的不再是某一台具体的机器而是整个堆叠系统。为什么要在华三交换机上做堆叠最直接的驱动力有三个。第一是简化管理原本五台接入交换机需要五个管理IP、五套配置、五次固件升级堆叠之后只有一个IP、一份配置、一次升级。第二是消除环路传统多台交换机互联要靠生成树协议来破环收敛速度慢堆叠之后设备之间是内部链路不再跑生成树链路利用率直接拉满。第三是高可用堆叠中的某台成员设备宕机流量会自动切换到其他成员业务中断时间可以控制在毫秒级。但这里有个容易被忽略的前提堆叠不是随便找几台同型号的机器就能做的。华三的IRF对硬件和软件都有要求。硬件层面成员设备最好是同一型号、同一版本至少也要保证是同一系列且支持IRF功能。软件层面所有成员设备的Comware版本必须一致否则堆叠建立过程中会出现各种莫名其妙的协商失败。我见过有人拿两台版本差了两个小版本的设备硬堆结果堆叠口起来了但业务口死活不通排查了半天才发现是版本不一致导致转发表同步异常。还有一个概念需要提前厘清堆叠口和业务口是两回事。堆叠口专门用来传输堆叠协议报文和跨设备转发流量业务口是对外提供服务的。很多人把业务口拿来做堆叠链路虽然某些场景下可以但会牺牲业务端口密度而且一旦堆叠链路出问题排查起来非常麻烦。所以我的建议是如果设备有专用的堆叠口比如SFP光口或QSFP口优先用专用口如果没有再考虑用业务口做逻辑堆叠口。提示堆叠建立之前务必确认所有成员设备的Comware版本一致。用display version命令逐台检查版本号精确到小数点后两位都要一样。2. 堆叠物理连接拓扑选不对后面全是坑物理连接是堆叠的地基地基没打好后面配置再漂亮也是白搭。华三IRF支持两种基本拓扑链形连接和环形连接。链形就是A连B、B连C、C连D首尾不相连环形就是A连B、B连C、C连D、D再连回A。这两种拓扑的可靠性差距非常大。链形拓扑的问题在于如果中间某台设备宕机或者某条堆叠链路断开整个堆叠系统会分裂成两个独立的子堆叠。比如A-B-C-D链形连接B和C之间的链路断了A和B组成一个堆叠C和D组成另一个堆叠两个堆叠各自认为自己是主设备管理IP冲突、转发表混乱业务直接崩掉。环形拓扑就没有这个问题任何一条链路断开流量都可以从另一个方向绕过去堆叠系统仍然保持完整。所以我的原则是能环形就绝不链形。哪怕多花两根光纤、多占两个堆叠口也要把环闭合上。环形拓扑下IRF会自动阻塞其中一条链路作为备份正常运行时只有一条链路转发流量另一条处于待命状态。一旦主链路故障备份链路秒级切换业务几乎无感知。堆叠口的物理连接方式也有讲究。华三交换机常见的堆叠口类型包括堆叠口类型典型速率适用场景注意事项SFP光口10Gbps中高端交换机堆叠需配光模块和光纤注意收发方向QSFP口40Gbps高端交换机堆叠带宽充足适合大流量场景业务电口1Gbps低端交换机堆叠占用业务端口带宽可能成为瓶颈专用堆叠口取决于型号支持专用堆叠的型号即插即用但线缆长度受限光口堆叠的时候收发方向一定要核对清楚。我遇到过有人把两根光纤的收发搞反了堆叠口指示灯不亮以为是模块坏了换了好几个模块才发现是TX和RX接反了。正确的做法是一台设备的TX接另一台的RX交叉连接。如果是用MPO/MTP多芯光纤还要注意极性问题A型、B型、C型极性对应不同的连接方式搞错了同样不通。线缆长度也是容易被忽视的细节。铜缆堆叠一般不超过5米光缆堆叠根据模块类型不同多模光纤一般不超过300米单模光纤可以到10公里以上。如果设备分布在不同楼层或不同机房必须用光缆而且要考虑光纤配线架、跳线、熔接点的损耗。我见过一个案例两台设备直线距离只有80米但走线绕了好几层楼实际光纤长度超过200米用多模模块就出现了间歇性丢包换成单模模块才稳定下来。注意堆叠链路建议使用专用堆叠口或高速光口避免使用低速业务电口。如果必须用业务口确保该端口不承载其他业务配置。3. 堆叠配置全流程从优先级规划到成员编号固化配置堆叠之前有一件事必须先做规划成员编号和优先级。成员编号Member ID是每台设备在堆叠系统中的唯一标识范围通常是1到9或1到16具体取决于型号。优先级Priority决定谁当主设备Master优先级高的当选优先级相同则比较MAC地址MAC小的当选。我的习惯是主设备优先级设为最高备设备次之其他成员默认。比如三台设备堆叠计划让Device-1当主Device-2当备Device-3当从那就把Device-1的优先级设为32Device-2设为16Device-3保持默认1。这样即使设备重启顺序不同主备关系也不会乱。配置步骤我拆成三个阶段来讲每个阶段都有具体的命令和操作意图。3.1 第一阶段物理连接前的预配置这个阶段每台设备单独操作不连线。目的是把每台设备的成员编号和优先级提前写好避免连线后编号冲突。# 进入系统视图 system-view # 修改成员编号假设当前设备要设为成员1 irf member 1 renumber 1 # 设置优先级主设备设高一些 irf member 1 priority 32 # 保存配置 save # 重启设备使编号生效 reboot这里有个关键点irf member 1 renumber 1这条命令里的第一个1是当前成员编号第二个1是目标成员编号。如果设备出厂默认编号就是1那这条命令可以省略。但如果默认编号不是1或者你拿到的是二手设备编号已经被改过就必须先改回来。改完编号必须重启不重启不生效。优先级设置也有讲究。华三IRF的优先级范围一般是1到32数值越大优先级越高。我通常把主设备设为32备设备设为16从设备保持默认1。这样做的目的是让主备关系明确避免选举过程中出现意外。有人喜欢把所有设备优先级都设成一样让系统自己选虽然也能工作但选举结果不确定不利于后期维护。3.2 第二阶段物理连线与堆叠口配置预配置完成、设备重启后开始物理连线。连线顺序建议从主设备开始依次连接备设备和从设备最后闭合环形。连线完成后配置堆叠口。# 进入堆叠口视图以Ten-GigabitEthernet1/0/49为例 interface Ten-GigabitEthernet1/0/49 # 关闭端口 shutdown # 将物理口加入IRF端口 irf-port 1/1 port group interface Ten-GigabitEthernet1/0/49 # 退出IRF端口视图重新开启物理口 interface Ten-GigabitEthernet1/0/49 undo shutdown这里解释一下irf-port 1/1的含义前面的1是成员编号后面的1是IRF端口编号。每台设备可以创建多个IRF端口每个IRF端口可以包含多个物理口。比如你有两个10G口要做堆叠可以都加入同一个IRF端口也可以分成两个IRF端口做冗余。配置堆叠口的时候必须先shutdown物理口再加入IRF端口最后undo shutdown。这个顺序不能乱。如果物理口处于up状态时直接加入IRF端口可能会触发短暂的广播风暴或协议报文异常。我吃过这个亏有一次偷懒没关端口直接加结果堆叠口起来的瞬间整个网络卡了十几秒虽然没造成大事故但被同事吐槽了很久。3.3 第三阶段激活堆叠与验证所有设备的堆叠口配置完成后再次保存配置并重启。重启后堆叠系统会自动建立。验证堆叠是否成功用以下命令# 查看IRF状态 display irf # 查看IRF拓扑 display irf topology # 查看IRF端口状态 display irf-portdisplay irf的输出会显示所有成员设备的编号、优先级、角色Master/Standby/Slave、状态Up/Down。如果所有成员都显示Up且角色分配符合预期说明堆叠建立成功。display irf topology会显示堆叠的拓扑结构环形拓扑会显示所有链路状态链形拓扑会显示首尾设备只有一条链路。提示堆叠建立后只有主设备的管理口和Console口可用从设备的管理口会被自动禁用。所以初始配置时建议通过主设备的Console口或管理口操作。4. 堆叠分裂与MAD检测最危险的场景怎么防堆叠系统最怕什么不是设备宕机而是堆叠分裂Split Brain。堆叠分裂指的是堆叠链路全部断开原本一个堆叠系统分裂成两个或多个独立的堆叠每个堆叠都认为自己是正统都使用同一个管理IP、同一套配置导致网络中出现两个一模一样的设备。这种情况轻则IP冲突、业务中断重则转发表混乱、数据包被错误转发。MADMulti-Active Detection多活性检测就是专门用来解决这个问题的。华三IRF支持多种MAD检测方式常用的有LACP MAD、BFD MAD和ARP MAD。我重点讲LACP MAD和BFD MAD这两种在实际项目中最常用。4.1 LACP MAD利用现有聚合链路做检测LACP MAD的原理是在堆叠系统与上行设备之间配置跨设备聚合链路聚合链路中启用LACP协议。正常状态下堆叠系统作为一个逻辑设备与上行设备协商聚合一旦堆叠分裂两个子堆叠都会尝试与上行设备建立聚合上行设备会发现同一个聚合组里出现了两个不同的系统ID从而触发MAD检测其中一个子堆叠会被强制关闭。配置LACP MAD的步骤# 在堆叠系统上创建聚合口 interface Bridge-Aggregation 1 link-aggregation mode dynamic # 将成员口加入聚合组 interface Ten-GigabitEthernet1/0/1 port link-aggregation group 1 # 在上行设备上同样配置动态聚合 # 并在堆叠系统上启用LACP MAD irf mad enableLACP MAD的优点是不需要额外布线利用现有的上行聚合链路就能实现。缺点是要求上行设备支持LACP且聚合链路必须跨成员设备。如果上行设备是单台设备且不支持跨设备聚合LACP MAD就无法工作。4.2 BFD MAD专用检测链路更可靠BFD MAD的原理是在堆叠成员设备之间建立一条专用的BFD检测链路通过中间设备或直连进行BFD会话。正常状态下BFD会话在堆叠内部完成堆叠分裂后BFD会话会检测到对端仍然存活从而触发MAD。配置BFD MAD的步骤# 创建VLAN用于MAD检测 vlan 100 # 在成员设备上创建MAD检测口 interface Vlan-interface 100 mad bfd enable mad ip address 192.168.100.1 24 member 1 mad ip address 192.168.100.2 24 member 2 # 将物理口加入MAD VLAN interface GigabitEthernet1/0/48 port access vlan 100 interface GigabitEthernet2/0/48 port access vlan 100BFD MAD的优点是检测速度快、可靠性高不依赖上行设备。缺点是需要占用额外的端口和VLAN而且MAD检测链路必须直连或通过二层网络互通。我一般推荐在预算允许的情况下优先用BFD MAD因为它的检测机制更独立不受上行设备影响。MAD方式优点缺点适用场景LACP MAD无需额外布线依赖上行设备支持上行有跨设备聚合BFD MAD检测快、独立性强需专用端口和VLAN对可靠性要求高ARP MAD配置简单检测速度较慢小型堆叠系统注意MAD检测配置完成后务必测试其有效性。可以手动断开堆叠链路观察是否触发MAD、哪个子堆叠被关闭。测试完成后恢复链路确认堆叠重新合并。5. 堆叠维护中的那些坑版本升级、成员替换与日常巡检堆叠系统建起来只是开始日常维护才是真正考验人的地方。我总结了几类高频问题和处理经验都是实际项目中踩过的坑。5.1 版本升级顺序错了直接分裂堆叠系统的固件升级不能像单台设备那样随便刷。正确的流程是先升级从设备再升级备设备最后升级主设备。而且升级过程中要确保堆叠链路稳定不能断电或断链。华三的IRF支持热升级ISSU可以在不中断业务的情况下逐台升级。但热升级对版本差异有要求通常只支持相邻版本之间的升级。如果跨大版本升级比如从V5升到V7就必须停机操作。我遇到过一次升级事故同事图省事直接在主设备上刷了新版本结果主设备重启后版本不一致堆叠协商失败整个堆叠分裂成两个。好在有MAD检测其中一个子堆叠被关闭业务没有完全中断但恢复过程花了将近一个小时。从那以后我升级堆叠系统一定按从→备→主的顺序来而且升级前必须做配置备份。5.2 成员替换新设备编号和优先级要提前改堆叠中的某台设备坏了换一台新设备上去不是插上线就能自动加入的。新设备出厂编号可能是1优先级是默认值直接连上去会和现有成员编号冲突导致堆叠建立失败。正确的替换流程是新设备单独上电不连堆叠线。修改成员编号为故障设备的原编号。修改优先级为原优先级。保存重启。按照原拓扑连线确认堆叠重新建立。如果故障设备是主设备替换后还要确认主备关系是否恢复。有时候新设备优先级设得不对会导致备设备抢占主角色虽然不影响业务但管理上会混乱。5.3 日常巡检这几个命令要常敲堆叠系统的日常巡检不需要太复杂几个关键命令定期敲一敲就能发现大部分隐患# 查看IRF状态确认所有成员Up display irf # 查看堆叠链路状态确认无丢包 display irf-port # 查看MAD状态确认检测正常 display mad verbose # 查看设备温度、风扇、电源状态 display environment # 查看CPU和内存利用率 display cpu-usage display memory我一般每周巡检一次重点看IRF状态和MAD状态。如果发现某个成员设备频繁Up/Down或者堆叠链路有CRC错误计数增长就要及时排查线缆和光模块。堆叠链路的问题往往不是突然出现的而是从间歇性丢包开始慢慢恶化到链路完全断开。早发现早处理能避免很多半夜被叫起来救火的惨剧。提示堆叠系统的配置文件是统一的修改配置时会在所有成员设备上同步。但某些命令如接口配置需要指定成员编号比如interface GigabitEthernet1/0/1和interface GigabitEthernet2/0/1是两台不同设备上的端口配置时不要搞混。6. 堆叠到底值不值得做几个真实场景的取舍说了这么多技术细节最后聊聊堆叠的适用场景和取舍。不是所有网络都适合做堆叠也不是所有堆叠都能达到预期效果。适合做堆叠的场景接入层交换机数量多、管理复杂堆叠后可以大幅简化运维核心层或汇聚层需要高可用堆叠可以提供设备级冗余数据中心TOR交换机需要高密度端口和统一管理堆叠是常见方案。不适合做堆叠的场景设备型号差异太大强行堆叠稳定性差设备分布距离太远堆叠线缆成本过高网络规模很小两三台设备用生成树就能搞定堆叠反而增加复杂度。我个人的经验是如果堆叠能让你少管理至少三台设备或者能显著提升网络可靠性那就值得做。如果只是为了堆叠而堆叠或者设备本身就不支持稳定的IRF那不如老老实实用传统组网方式。还有一个容易被忽视的点堆叠系统的故障域比单台设备大。单台设备宕机只影响自己堆叠系统的主设备宕机可能影响整个堆叠的控制平面。虽然IRF有主备切换机制但切换过程中业务会有短暂中断。所以关键业务场景下堆叠系统的主备设备最好分布在不同的物理位置避免同时断电或同时被物理破坏。最后分享一个我自己的习惯每次堆叠配置完成后我都会把完整的配置导出备份包括每台设备的成员编号、优先级、堆叠口配置、MAD配置。然后在拓扑图上标注清楚每台设备的物理位置和堆叠链路走向。这样下次维护或故障处理时不用重新翻配置看一眼拓扑图就能快速定位问题。这个习惯帮我省了很多时间也避免了很多误操作。