简介这份PDF资料源自思科2018年技术讲座BRKARC-3222由杰出工程师Tim Stevenson主讲面向数据中心网络工程师、架构师及备考思科认证的技术人员系统讲解Nexus 9000系列模块化与TOR交换机的芯片级架构。内容围绕数据中心与硅策略、云规模架构、云规模ASIC、转发特性、交换平台及Packet Walks等模块展开重点剖析Nexus 9500 X9400/X9600-R与Nexus 9300-EX/FX系列所采用的Cloud Scale ASIC、商用Broadcom芯片方案、智能缓冲区、流式遥测与隧道封装等硬件机制并完整梳理数据包在交换机内部的转发路径。资源包为单个PDF文件大小约3.56MB便于随身查阅与离线研读。目前已有283人学习适合希望深入理解思科数据中心交换机内部运作、优化网络性能与排障思路的专业人士参考。1. 数据中心交换芯片的体系地图从 Cloud Scale 到 Packet Walk如果你正在系统复习数据中心网络硬件或者准备网络架构方向的认证考试Nexus 9000 这一代 Cloud Scale 平台大概率是绕不开的一章。它不像纯协议那样靠背命令就能过关也不像纯配置那样敲完就能验证——它考的是你对“芯片怎么转发一个包”这件事有没有真正的画面感。很多人复习到 ASIC、Slice、Flex Tile 这些词就卡住不是因为概念多难而是因为缺少一张从硅片到平台、从架构到转发的完整地图。这份笔记梳理的就是这张地图先讲 Cloud Scale 芯片家族怎么分档再拆 Slice 内部结构然后落到转发查表和 Flex Tile 模板最后用 Packet Walk 串起整条路径。适合已经接触过 Nexus 基础、想往硬件架构方向深挖的人也适合考前快速查漏补缺。2. Cloud Scale 芯片家族LSE、LS1800FX、S6400、LS3600FX2 怎么区分2.1 四款芯片的定位与关键参数Cloud Scale 是 Cisco 自研 ASIC 系列和 Nexus 9500 上另一条商用芯片路线Broadcom XGS 和 DNX并行存在。复习时最容易混的就是这几个型号的容量、Slice 数和适用平台。先把参数表拉出来对比芯片型号总容量Slice 结构加密能力典型搭载平台LSE1.8T2 个 Slice每 Slice 9×100G无 MACSECX9700-EX 线卡、9300-EX TORLS1800FX1.8T1 个 Slice18×100GMACSECX9700-FX 线卡、9300-FX TORS64006.4T4 个 Slice每 Slice 16×100G无 MACSEC9364C TOR、E2 交换模块LS3600FX23.6T2 个 Slice每 Slice 18×100GMACSEC CloudSec9300-FX2 TOR这张表要背下来的不是数字本身而是三条规律。第一型号里的数字基本对应容量LS1800 是 1.8TLS3600 是 3.6TS6400 是 6.4T。第二带 FX 后缀的才有 MACSECFX2 额外支持 CloudSec。第三Slice 数量决定了芯片内部并行转发的粒度LSE 是 2 个 9 口 SliceLS1800FX 是 1 个 18 口 Slice总端口数一样但内部组织方式不同。2.2 为什么自研芯片值得单独复习复习时不要只记“Cisco 有自研芯片”这个结论要理解它带来的差异化能力。Cloud Scale 自研路线支撑了几类商用芯片不容易做到的功能ACI 策略模型和拥塞感知的 flowlet 交换、灵活转发 tile、单次隧道封装、内置 MACSEC 和 CloudSec 加密、智能缓冲区DBP / AFD / DPP、以及面向遥测的 Flow Table 和 SSX 流式统计导出。这些功能在考试里往往以“哪个特性依赖自研 ASIC”的形式出现。梳理下来会发现自研芯片的核心卖点不是单纯拼容量而是把硬件设计和软件创新绑在一起——硬件团队和 NX-OS 团队能紧耦合地定义转发行为这是商用芯片方案做不到的。2.3 商用芯片路线也要知道边界Nexus 9500 平台上还有两条商用芯片路线X9400/X9400-S 用 Broadcom XGSTrident2 / TomahawkX9600-R/X9600-RX 用 Broadcom DNXJericho。前者是 Broadcom SOC 方案行业可得性广、SDK 公开后者是多芯片架构大转发表、深包缓存、VOQ、基于 Cell 的 Fabric。注意复习范围要明确。这份材料聚焦的是 Cloud Scale 自研芯片这一代第一代 Nexus 9000 ASIC、9500 商用芯片架构、其他 Nexus 平台和 Catalyst 9000 都不在范围内。考试如果考到边界外的内容不要用这份笔记的结论去套。3. Slice 内部结构Ingress 和 Egress 到底怎么分工3.1 Slice 是什么Slice 是 Cloud Scale 芯片内部一个自包含的转发复合体控制单颗 ASIC 上的一部分端口。每个 Slice 分成 Ingress 和 Egress 两部分功能。关键点在于每个 Slice 的 Ingress 都连接到所有 Slice 的 EgressSlice 之间的互连Slice Interconnect提供非阻塞的任意到任意连接。这个设计的意义在于一个包从 Slice 0 的端口进来经过 Ingress 处理后可以被转发到任意一个 Slice 的 Egress 端口出去不会因为 Slice 划分而产生内部阻塞。复习时可以用一句话概括Slice 是并行转发单元Interconnect 保证跨 Slice 无阻塞。3.2 Ingress 转发控制器的工作流程Ingress 侧的处理链路可以拆成几个阶段Packet Parser → Ingress MAC → Ingress Lookup Pipeline → Load Balancing (AFD/DPP) → 送往 Egress SlicePacket Parser 负责解析包头提取查表需要的字段。Ingress MAC 处理二层信息。Ingress Lookup Pipeline 是核心查表阶段内部又分 Ingress Classification、Forwarding Lookup 和 Lookup Result 三步。Forwarding Lookup 会用到 TCAM 和 Flex Tiles。查表结果出来后如果是 ECMP 场景会经过 AFDApproximate Fair Dropping或 DPP 做负载均衡然后送到目标 Egress Slice。提示Flow Table 只在 LSE、LS1800FX、LS3600FX2 上支持S6400 没有。这个差异点在考试里容易出选择题。3.3 Egress 侧的处理与 SSXEgress 侧负责 Buffering / Queuing / Scheduling、Replication、Egress Policy、Packet Rewrites 和 Egress MAC。简单说Ingress 决定“这个包去哪里”Egress 决定“怎么排队、怎么改包、什么时候发出去”。SSXStreaming Statistics Export只在 S6400 和 LS3600FX2 上支持。这意味着如果你在复习遥测相关特性时要记住不是所有 Cloud Scale 芯片都能做流式统计导出。这个限制条件在架构设计题里经常作为区分点出现。4. 转发查表与 Flex TileLPM、HRT、TCAM 怎么配合4.1 IP 单播转发的完整查表链路IP 单播转发是 Packet Walk 的核心场景查表逻辑可以拆成三步第一步Router MAC Lookup。硬件检查目的 MAC 是不是 Router MAC如果是触发三层查表。第二步Route Lookups。硬件对 VRF 做精确匹配对目的 IP 做最长匹配。查表结果返回两种指针之一ADJ_PTR邻接指针索引到 MAC 表或 ECMP_PTRECMP 指针。第三步根据指针走 MAC 表或 ECMP 表。MAC 表返回输出 BD、重写 MAC 和输出端口ECMP 表返回应该用哪个 ECMP 组。接收包 → Router MAC 匹配→ 是 → (VRF, IPDA) 查表 → 返回 ADJ_PTR → MAC 表 → (BD, MAC, port) → 发送 → 返回 ECMP_PTR → ECMP 表 → 选组 → 发送这条链路要能默画出来。考试里常见的考法是给你一个转发场景问在哪一步查什么表、返回什么结果。4.2 HRT、LPM、TCAM 的分工IP 前缀在硬件里有三种存储方式存储方式用途来源特点HRTIPv4 /32 和 IPv6 /128 主机条目Flex Tile 划分哈希表适合主机路由LPM其他前缀长度的路由Flex Tile 划分传统前缀/掩码或用 pivot trie tile 组合TCAM溢出和哈希冲突传统 TCAM 内存前置在灵活转发查表之前最容易忽略的是 TCAM 的角色。它不是主力查表资源而是兜底——当 HRT 发生哈希冲突或 LPM 表项溢出时TCAM 接管。复习时要理解这个层级关系Flex Tile 提供主力表项TCAM 处理异常情况。4.3 Flex Tile 与路由模板Flex Tile 是一组可灵活分配的表项池不同 ASIC 的 tile 数量和每个 tile 的条目数不同。Tile 可以承担多种功能IPv4/IPv6 单播 LPM、IPv4/IPv6 主机路由表HRT、IPv4/IPv6 组播 (*,G) 和 (S,G)、MAC 地址/邻接表、ECMP 表、ACI 策略。Tile 的功能分配由路由模板决定通过system routing template配置。截至 NX-OS 7.0(3)I7(2)可用模板包括# 查看当前路由模板 show system routing template # 可用模板列表截至 NX-OS 7.0(3)I7(2) # Default - 默认均衡分配 # Dual-stack host scale - 双栈主机路由扩展不支持组播模块化 9500 不支持 # Internet peering - 互联网对等场景 # LPM heavy - LPM 表项加重 # MPLS heavy - MPLS 表项加重不支持组播 # Multicast heavy - 组播表项加重 # Multicast NBM - 组播 NBMTOR 不支持注意路由模板在系统初始化时定义更改需要重启。这是复习时的高频易错点——考试里经常问“能不能在线切换模板”答案是不能。5. 易漏点与易错点复习时最容易翻车的五个地方5.1 易漏点一Slice 数量与端口数的关系容易漏的原因是把“总端口数”和“Slice 结构”混为一谈。LSE 是 2 个 Slice 各 9×100GLS1800FX 是 1 个 Slice 18×100G总端口都是 18 个但内部并行粒度完全不同。考试如果问“LSE 和 LS1800FX 的 Slice 结构差异”只答端口数就错了。怎么补把第 2 章那张参数表的 Slice 列单独拎出来默写一遍重点记“几个 Slice、每 Slice 多少口”。5.2 易漏点二MACSEC 和 CloudSec 的支持范围容易漏的原因是这两个加密特性只在部分型号上支持。LSE 和 S6400 没有 MACSECLS1800FX 有 MACSECLS3600FX2 有 MACSEC CloudSec。复习时如果只记“Cloud Scale 支持加密”具体到型号就会翻车。怎么补用一句话记——“FX 有 MACSECFX2 多一个 CloudSecLSE 和 S6400 都没有”。5.3 易漏点三Flow Table 和 SSX 的芯片限制Flow Table 只在 LSE、LS1800FX、LS3600FX2 上支持S6400 没有。SSX 只在 S6400 和 LS3600FX2 上支持。这两个特性的支持矩阵不一样容易记混。怎么补画一个 2×4 的小矩阵行是 Flow Table 和 SSX列是四款芯片打勾打叉默写三遍。5.4 易漏点四路由模板的重启要求容易漏的原因是把路由模板当成普通配置命令以为可以在线切换。实际上模板在系统初始化时定义更改需要重启。考试里如果出现“在线调整路由模板”的选项直接排除。怎么补把“模板变更 重启”当成一条铁律记和“Slice 互连非阻塞”放在一起背。5.5 易漏点五TCAM 的兜底角色容易漏的原因是把 TCAM 当成主力查表资源。实际上 HRT 和 LPM 由 Flex Tile 提供TCAM 只处理溢出和哈希冲突。复习时如果问“主机路由存在哪里”答 TCAM 就错了应该是 HRT。怎么补记一句“Flex Tile 主力TCAM 兜底”然后默写 HRT、LPM、TCAM 三者的分工表。6. 查漏补缺一份可执行的复习清单复习到这一步知识点已经铺开了接下来要做的不是再读一遍而是用输出倒逼输入。下面这份清单按“能默写、能画图、能讲清”三个层次组织每完成一项打个勾。复习项达标标准自检方式四款芯片参数默写容量、Slice 数、加密能力、搭载平台空白纸画表不看原文Slice 内部结构画出 Ingress → Interconnect → Egress 路径手绘框图标注各阶段名称IP 单播查表链路默写 Router MAC → Route Lookup → ADJ/ECMP → MAC/ECMP 表口述一遍卡壳就回去看HRT/LPM/TCAM 分工说清各自用途和来源用一句话解释每个路由模板列出至少 5 个模板名及限制默写模板列表和重启要求特性支持矩阵默写 Flow Table 和 SSX 的芯片支持情况画 2×4 矩阵Packet Walk完整讲一个包从入到出的路径对着白板讲 3 分钟这份清单的用法是先合上所有资料逐项自检。卡住的项标记出来只回去看那一部分不要从头翻。第二遍再自检直到全部能默写或口述。最后说一个我自己的习惯。每次复习硬件架构我都会强制走一遍 Packet Walk——随便挑一个场景比如“一个 VXLAN 包从 TOR 进来要转发到另一个 TOR”然后从 Ingress Parser 开始一步一步讲到 Egress 发出。中间任何一步说不清就说明那个模块没复习到位。这个方法比反复读讲义有效得多因为读的时候你会产生“我懂了”的错觉但讲的时候骗不了自己。从那以后我每次复习转发架构都强制走一遍 Packet Walk希望帮到你。本文还有配套的精品资源点击获取