机房交付季总有那么几天我几乎都在做同一件事给新到的联想服务器ThinkSystem做RAID阵列设置。联想ThinkSystem目前主流机型如SR650、SR550、SR630开机后进入UEFI配置的方式、菜单层级和以前的System x完全不同很多运维第一次上手时找不到入口甚至在创建阵列时误操作清掉数据。这篇就把ThinkSystem的RAID阵列设置完整走一遍从识别阵列卡、创建虚拟磁盘到装系统时加载驱动、日常命令行巡检和性能测试。无论你是刚接触服务器的存储新人还是从Dell、华为等其他品牌转过来的运维按这篇的顺序操作基本能少走一半弯路。1. 先用一分钟认清ThinkSystem的RAID控制卡1.1 从ServeRAID到ThinkSystem RAID底层其实都是它很多从System x时代过来的运维第一次打开ThinkSystem SR650的RAID配置界面时都会懵一下。以前在x3550 M5上按CtrlH就能进到那个深蓝色调的MegaRAID BIOS配置工具到了ThinkSystem这边启动提示变成了F1进入System Setup菜单位置也全变了。这不是联想故意折腾人而是整个服务器行业都把RAID配置从开机专属BIOS工具迁移到了厂商固件和UEFI体系里。ThinkSystem系列用的阵列卡主流是ThinkSystem RAID 930-8i、930-16i、930-8e这些型号核心方案来自Broadcom原LSI/Avago的MegaRAID产品线。930-8i对应的是SAS3508芯片930-16i对应SAS3516芯片都是12Gb/s的SAS控制器配合缓存模块一般带2GB或4GB缓存实现硬件RAID。换句话说你手里的ThinkSystem阵列卡和市面上一大堆OEM服务器的阵列卡血脉上是同一套。这个认知特别重要。因为一旦你理解了底层是MegaRAID那么ThinkSystem UEFI配置界面里的很多名词——Virtual Drive、Physical Drive、Foreign Configuration、Consistency Check、Copyback——在其他品牌服务器上也会见到只是换了个入口。遇到问题去搜资料时搜LSI MegaRAID 配置比搜联想RAID 配置能搜到更多能直接落地的内容。1.2 我这台机器上的是什么阵列卡三种判断方法如果你手上是一台已经被前同事配置到一半的机器或者是从机房角落翻出来的测试机第一步一定先确认阵列卡型号。第一种方法开机时看启动日志。ThinkSystem在自检过程中会显示RAID控制器的型号和固件版本但这段信息一闪而过不熟练的话容易错过所以我不太依赖它。第二种方法进UEFI之后看。按F1进入System Setup依次选择System Settings - Storage左侧就会列出插在PCIe槽位上的阵列卡比如ThinkSystem RAID 930-8i或ThinkSystem RAID 530-8i。这一层还能看到固件版本、缓存状态、BBU状态后面我会详细讲。第三种方法是系统里用命令查。Linux下跑lspci | grep -i raid或者lspci -vv | grep -i -A2 raidWindows下打开设备管理器展开存储控制器看有没有MegaRAID相关字样。如果是Linux且装有storcli直接执行storcli /c0 show输出的Model字段会把阵列卡型号、固件版本、缓存大小全部列出来。1.3 顺便说一句Dell R730和华为2288H V5不是一套逻辑写这篇之前我特意看了一眼最近大家在搜什么发现r730服务器raid驱动和华为2288hv5服务器raid配置这类词热度很高。这里多说几句方便大家横向对比。Dell PowerEdge R730用的是PERC阵列卡比如PERC H730/H730P底层同样是Broadcom MegaRAID方案。它的驱动包名字往往是一长串比如w2012r2_2d7h2_6.602.07.00_a00_zpe前面是系统版本中间是驱动版本号结尾是A00或者A03这种Dell自己的修订号。联想ThinkSystem不会用这种命名但你在Lenovo支持网站下载Windows Server驱动时包名里同样会带有系统版本和MegaRAID驱动版本信息思路是一样的。华为2288H V5也用基于LSI/Broadcom方案的RAID卡比如常见的SR450C-M。开机时按CtrlH进入的界面很多情况下就是MegaRAID BIOS配置工具的OEM定制版。所以你会看到一种现象网上搜华为2288H V5 RAID配置教程贴出来的界面截图和Dell R730的CtrlH界面高度相似操作步骤也几乎可以通用。这三家虽然服务器型号、固件入口、驱动包名各不一样但一旦落到怎么创建虚拟磁盘怎么设置热备盘怎么加载驱动这种具体操作上底层逻辑非常接近。这也是为什么我建议每个做服务器运维的人都值得花点时间把MegaRAID这套通用逻辑吃透。2. 开始改阵列之前先花十分钟做三件事2.1 备份和记录现有数据不是一句废话创建RAID阵列这个动作本质上是在阵列控制器的配置空间里新建一个虚拟磁盘同时把物理盘重新组织起来。对于没有任何数据的空机器随便折腾都无所谓。但对于已经在跑的机器只要Create Virtual Drive这一步一点下去原有磁盘上的数据就处于待初始化的危险状态一旦执行初始化或者配置保存数据基本救不回来。我的习惯是凡是动阵列先做三层准备。第一层确认业务侧已经有完整备份这个备份要验证过能恢复而不是仅仅备份过。第二层如果磁盘处于Foreign状态也就是从别的机器拆过来的盘UEFI界面会提示你选择Import还是Clear。这里必须先搞明白这些盘上的配置是否需要保留。需要保留就Import不需要就直接ClearClear之后盘上所有RAID配置信息都会被清空原虚拟磁盘也就无法直接挂载了。第三层用手机或者截图工具把当前阵列控制器的配置信息拍下来包括控制器编号、物理盘槽位、虚拟磁盘状态万一操作中断对照截图恢复会省很多事。2.2 别急着上手确认磁盘状态和Foreign配置进入到UEFI存储界面之后不要一上来就点Create Virtual Drive。先花两分钟看Physical Drive列表。ThinkSystem上常见的磁盘状态有下面几种状态含义处理建议Unconfigured Good盘上无RAID配置可正常使用可加入新阵列Unconfigured Bad盘有故障或无法正确识别查日志考虑返修Foreign盘上有其他阵列控制器的RAID元数据根据数据需求选Import或ClearOnline已属于某个虚拟磁盘阵列正常工作Offline原本属于阵列但当前离线检查物理连接和盘状态JBOD已设置为直通盘不做RAID保护其中最重要的就是Foreign。所谓Foreign配置是指这块物理盘上带有其他阵列控制器的RAID元数据。常见场景是你从一台坏了的机器上拆了两块盘想插到ThinkSystem里读取里面的数据或者你换了一块阵列卡新卡不认识旧卡写的元数据。此时界面会弹出Foreign Configuration Found的提示。选择Import新卡会继承旧卡的虚拟磁盘配置数据就能继续访问选择Clear旧配置就没了。我见过不少同事在这个环节翻车以为Import就是导入数据结果只是导入了元数据配置或者明明只想看一眼盘手抖点了Clear直接把原阵列的两块盘清成了裸盘。所以碰到Foreign先停下来确认这些盘还需不需要再决定下一步。2.3 你的机器是RAID模式还是HBA模式ThinkSystem阵列卡有两种角色。默认情况下工作在RAID模式物理盘归属于阵列卡管理可以创建虚拟磁盘但在某些场景下比如你要把直通盘给虚拟机使用或者把整块盘交给软件定义存储如Ceph管理RAID卡上的逻辑层反而碍事这时候需要切到HBA模式或者逐个磁盘设置为JBOD。在ThinkSystem的UEFI配置里这张卡上可以对每个磁盘单独设置。你可以在物理盘列表里把指定盘设为JBOD或Pass-through也可以进入控制器的Controller Properties里查看当前工作模式。值得注意的是930-8i这张卡本身不支持NVMe盘做硬件RAIDNVMe如果需要阵列得用支持三模的940系列同时接SAS/SATA/NVMe或者靠上层软件解决。这个点很多新手会搞混看见一个NVMe M.2盘插在服务器里想在RAID卡界面里组阵列结果找半天找不到原因就在这里。2.4 阵列卡缓存电池BBU检查在ThinkSystem上RAID卡缓存模块一般带Flash Backup Unit作用是掉电时把Write-Back缓存的未落盘数据刷到Flash上。如果缓存没电控制器的写策略会强制退化成Write-Through写入速度断崖式下降。进UEFI存储界面后在控制器的状态信息里看一眼Cache/RAM和BBU这一项。正常的BBU状态是Optimal或者Operational如果显示Charging或Failed那就先别急着做阵列等它充好电再干活。说实话这一步新手几乎不会注意到但它直接决定了你阵列创建之后的写入性能也是后面排障时最容易忽略的隐藏因素。3. UEFI界面里创建阵列的完整操作流程3.1 按下F1之后怎么走进XCC还是进UEFI SetupThinkSystem开机出现Lenovo Logo时右下角会有一排提示。按F1进的是System Setup也就是UEFI配置界面F10进的是Lenovo XClarity Provisioning ManagerLXPM这是联想提供的部署管理工具如果按F2是系统诊断之类的入口。做RAID配置重点是F1这条路。如果你人在机房外也可以先登录XCCLenovo XClarity Controller的Web界面开启Remote Console远程看到服务器画面后同样按F1。远程操作时我习惯先把XCC的KVM窗口最大化因为ThinkSystem UEFI界面在低分辨率下布局会挤点错菜单的概率会上升。3.2 创建RAID 1/5/10的菜单位置与每一步选择进入System Setup后按下面路径走选择 System Settings。进入 Storage会列出你的RAID控制器。选中阵列卡回车进入Main Menu。选择 Configuration Management。选择 Create Virtual Drive然后回车确认。接下来是配置核心。第一步选RAID级别。ThinkSystem支持的级别包括RAID 0、RAID 1、RAID 5、RAID 6、RAID 10、RAID 50、RAID 60。怎么选级别我的建议是系统盘/引导盘两块盘组RAID 1安全可靠性能也够用。数据库、虚拟化存储优先考虑RAID 10空间利用率低一点但随机读写和重建速度都远好于RAID 5。一般文件服务器、视频监控存储RAID 5或RAID 6。盘数超过8块建议直接RAID 6不然某块盘重建期间再挂一块整个阵列就可能GG。选完RAID级别界面会让你选择Physical Drives。这时记住一个原则同一阵列里的盘尽量同品牌、同容量、同转速、同固件版本。混插不同厂商的盘短期看不出问题一旦进入Rebuild性能差异和稳定性问题就会被放大。选完磁盘后设置Virtual Drive参数。绝大多数场景下Strip Size用默认的256KB即可。如果业务以4K随机读写为主比如数据库日志可以尝试64KB如果以大文件顺序读写为主比如视频转码存储可以调到1MB。初始化模式选Fast Initialize能快速完成创建但RAID 5/6这类带校验的级别我建议在后面补一次完整的一致性检查确保校验数据是完好的。注意创建虚拟磁盘时界面通常会提示Save Configuration选择Yes。ThinkSystem UEFI里这个动作会把配置写入阵列卡不保存的话重启后配置就丢了。3.3 热备盘、初始化、一致性检查的取舍热备盘Hot Spare的配置位置在Configuration Management目录下的Manage Hot Spare。从物理盘列表里挑一块空闲盘设为热备它不参与数据读写只在阵列中某块盘故障时自动顶上去并启动重建。热备盘分Global和Dedicated两种。Global热备盘可以为这台控制器上的所有虚拟磁盘服务Dedicated只服务指定虚拟磁盘。我个人推荐中小型环境用Global热备省心。但要注意热备盘一旦顶上需要尽快找到替换盘重新补上热备位不要长时间让阵列处于无热备状态。一致性检查Consistency Check这个功能很多人从来没用过。简单说它是RAID控制器后台跑的一个校验任务逐块比对数据与校验信息发现不一致会尝试修复。对RAID 5/6来说定期做一致性检查是保持校验数据可靠的重要手段。ThinkSystem里可以在控制器属性里设置自动CC也可以在某块盘掉线恢复之后手动触发一次。3.4 创建完别急着退出检查顺序和保存技巧创建完成后我建议按这个顺序再扫一眼第一回到Main Menu进入Virtual Drive Management确认虚拟磁盘状态是Optimal容量正确RAID级别正确。第二进入物理盘列表确认没有盘处于Failed或Offline状态。第三看一眼控制器事件日志如果里面有大面积Rebuild以外的报错先处理完再装系统。还有一个小技巧创建完阵列后再进一遍配置界面给虚拟磁盘确认一下启动顺序。在Boot Mode设置中有些ThinkSystem机器的启动顺序默认可能指向UEFI Shell或者其他设备如果不调整你后面插了系统安装U盘也可能引导到奇怪的地方。4. 阵列做好之后系统安装的驱动加载才是真正的分水岭4.1 Windows Server 2012 R2/2016/2019/2022的驱动获取阵列创建完成接下来就是装系统。不少人以为这步很简单插上安装盘就能看到磁盘结果在Windows Server安装界面的磁盘列表里空空如也。原因很简单Windows安装镜像里没有内置ThinkSystem RAID控制器对应的驱动。去找驱动时你可以在联想数据中心的Driver页面选择ThinkSystem SR650或你的具体型号筛选RAID Controller和Windows Server 2012 R2/2016/2019/2022下载名为ThinkSystem RAID 930-8i Windows Server Driver之类的安装包。这里有一个很容易踩的误区搜索引擎上跳出来的r730服务器raid驱动 w2012r2_2d7h2_6.602.07.00_a00_zpe 下载是Dell R730 PERC的驱动不能用在ThinkSystem上。虽然底层都是Broadcom方案但OEM会做校验和硬件标识绑定装错驱动轻则识别不到重则直接蓝屏。下载时第一看服务器型号第二看阵列卡型号两个都匹配了再解压。4.2 手动安装Windows时加载驱动的步骤用一个FAT32格式的U盘把下载的驱动文件夹直接解压到U盘根目录。确认U盘里能看到.inf和.sys文件Windows安装程序只认这两种格式的驱动定义。接着从Windows安装ISO启动在出现现在安装界面的第一步或者直接在选择磁盘页面点击加载驱动程序Windows会弹出浏览窗口。指向U盘上对应的驱动文件夹安装程序会列出检测到的控制器驱动选中后下一步磁盘列表里就会正常出现你刚创建的虚拟磁盘。这里有个细节ThinkSystem驱动解压后可能包含多个子文件夹比如RAID目录和AHCI目录。如果加载后仍然看不到磁盘多半是选错了子目录。RAID卡就选RAID目录下的驱动不要选AHCI的二者不通用。还有一种情况是U盘用的exFAT格式Windows装系统时不识别务必用FAT32。4.3 Linux系统安装时的驱动策略Linux这边情况比Windows乐观得多。RHEL/CentOS 7及以上的安装内核已经包含了megaraid_sas驱动模块ThinkSystem 930系列基本开箱即用。Ubuntu Server 18.04以后的版本也没问题。大多数情况下安装系统直接能看到虚拟磁盘不需要另外加载驱动。如果遇到比较新的控制器或者定制化内核就需要在引导时传入驱动盘参数。RHEL系在GRUB启动项上按e修改内核参数加上inst.dd或者dd取决于安装程序版本系统会提示你选择驱动盘来源也可以提前把驱动放到本地HTTP/NFS服务器通过inst.ddhttp://xxxx加载。不过说实话在我接触的ThinkSystem部署里99%的Linux安装都不需要这一步。4.4 装完系统后如何确认驱动和阵列正常装完系统先别急着跑业务。用两个命令确认阵列正常。Linux下如果装了storcli执行storcli /c0 show storcli /c0/vall show第一条看控制器状态第二条看虚拟磁盘状态。State是Optimal就说明阵列本身没问题。再用cat /proc/scsi/scsi确认控制器驱动加载正常用lsblk确认容量和分区没有异常。Windows下打开设备管理器展开存储控制器看到MegaRAID SAS或者Lenovo ThinkSystem RAID相关设备且没有黄色感叹号基本就稳了。再用磁盘管理看一眼磁盘容量是否等于虚拟磁盘容量。如果发现容量偏小大概率是虚拟磁盘创建时有部分空间没有分配给VD需要回到UEFI里检查。5. 日常维护命令行查阵列状态、看读写速度5.1 storcli比UEFI界面更快的状态查看阵列部署之后日常巡检不用每次都进UEFI。storcli是目前Broadcom最常用的命令行管理工具ThinkSystem也能直接用。Linux下可以到Broadcom官网或者Lenovo支持页下载rpm包安装Windows下同样有对应的exe版本。常用的几条命令如下storcli /c0 show # 控制器基本信息 storcli /c0/vall show # 所有虚拟磁盘状态 storcli /c0/eall/sall show # 所有物理磁盘状态 storcli /c0 show events # 控制器事件日志 storcli /c0/v0 set wrcacheWB # 设置虚拟磁盘写策略为Write-Back storcli /c0/v0 set rdcacheRA # 设置读策略为Read Ahead特别是/c0/eall/sall show能看到每块盘的Media Error、Other Error和Drive Temperature。我巡检的习惯是一周跑一次重点看有没有盘开始累积Media Error如果某块盘的Media Error在持续增长说明盘已经有坏道前兆趁还没Fail赶紧换。5.2 ipmitool能查RAID吗能但要看清范围ipmitool 查看raid这个问题最近搜索量很大我直接说结论ipmitool标准命令里确实有一部分版本支持RAID相关查询比如ipmitool raid show和ipmitool raid list可以在某些平台上列出控制器和虚拟磁盘信息。但它的实现依赖服务器BMC对IPMI存储接口的支持不同厂商、不同BMC版本之间的差异非常大。在ThinkSystem上我更建议用XCC的Web界面或者storcli。XCC登录之后的Storage菜单里能看到控制器的健康状况、虚拟磁盘状态、物理盘状态和固件版本。这套界面是联想自己的信息展示比ipmitool直观得多而且不用在操作系统里额外装工具。如果一定要用命令行优先storcli而不是到处找ipmitool的魔法参数。5.3 阵列读写速度到底能跑多少用fio和dd实测raid阵列读写速度是另一个高频搜索词。这个问题其实没法给一个通用答案因为速度由阵列卡缓存策略、磁盘类型、RAID级别、条带大小、生产还是测试环境共同决定。但我可以给两个参考值在ThinkSystem SR650上用930-8i搭配8块10K SAS盘组RAID 10阵列卡写缓存设置为Write-Back顺序读可以跑到1500MB/s以上顺序写在1000-1200MB/s。如果换成4块普通SATA SSD组RAID 5顺序读常见在500-700MB/s顺序写在400MB/s左右。如果阵列卡缓存策略被强制退化成Write-Through那这个数字会腰斩甚至更低。测试命令我一般用fio比dd更可控。顺序读fio --nameseqread --rwread --bs1M --size8G --iodepth32 --ioenginelibaio --direct1随机混合读写fio --namerandrw --rwrandrw --bs4k --size4G --iodepth32 --ioenginelibaio --direct1 --runtime60用fio测完如果随机4K的IOPS和你预期差距很大先去查阵列卡的缓存策略再去看盘的型号和固件这两条路的坑最多。5.4 掉盘了怎么办重建流程与速度管理阵列里最怕的事就是滴滴声响起某块盘亮红灯。正常流程是第一登录XCC或者UEFI确认具体是哪块盘Failed。第二物理拔出故障盘插入一块同型号、同容量、同固件的新盘。第三如果新盘是Foreign状态在UEFI里选择Import或者清除Foreign配置建议先直接Clear前提是确认盘上没数据。第四阵列卡会自动检测新盘并启动Rebuild虚拟磁盘状态会从Degraded逐步回到Optimal。Rebuild期间阵列仍然可以读写但性能会低于正常状态。如果业务压力很大可以在storcli里临时调低重建速率比如storcli /c0 set rebuildrate20如果阵列盘多且业务不忙就保持默认的30%左右。切忌在Rebuild期间再做扩容或者迁移操作这个时候阵列的冗余度已经降低任何额外操作都是在刀尖上跳舞。6. 这些坑我替你先踩过了照着避6.1 缓存策略设错全闪阵列跑出机械盘的速度有一次我给一台ThinkSystem SR650做存储性能测试8块SATA SSD组RAID 5测试结果惨不忍睹随机写只有几百IOPS连机械盘都不如。查了半天才发现阵列卡缓存模块上的BBU状态是Charging写缓存策略被强制变成了Write-Through。SSD虽然快但每次写入都要直接落盘性能自然崩了。这个坑特别隐蔽因为UEFI界面上不会给你弹一个大红框只是一行状态显示在控制器信息页。所以不管新装机器还是接手老机器第一件事先确认BBU状态是不是Optimal再确认虚拟磁盘的写缓存是不是Write-Back。如果是新充电状态等几个小时再测性能别急着下结论。6.2 新硬盘容量比旧盘大为什么还是不能直接替换很多人以为RAID 1里挂了一块1TB盘找一块2TB盘顶上阵列会自动扩容。实际上没那么美好。阵列卡识别新盘之后虚拟磁盘的容量仍然以创建时的逻辑配置为准新盘多出来的空间不会自动并进VD。而且如果不满足阵列卡的替换规则比如固件版本差异太大、扇区格式不一致直接插上去甚至不会启动Rebuild。所以替换硬盘有一个硬性原则优先用同容量、同型号、同固件。如果实在买不到同容量选更大容量的盘顶替后后续要做Online Capacity Expansion才能扩展虚拟磁盘容量这个过程在UEFI的Virtual Drive Management里可以触发但需要提前规划维护窗口。6.3 固件看着能装和真正兼容是两回事联想支持网站除了服务器驱动之外还提供固件更新包。我见过有人为了省事直接拿Broadcom官网的通用固件刷到ThinkSystem阵列卡上结果系统里识别出一堆乱码阵列卡功能也出现异常。后来刷回联想OEM固件才恢复正常。这不是说Broadcom的固件不能用而是服务器厂商的固件包在出厂前做了平台验证和定制固件里包含OEM特有的配置和微码。ThinkSystem阵列卡请认准Lenovo发布的OEM固件包不要用通用包。磁盘固件也一样新盘上机前用XCC或者联想工具检查一下磁盘固件兼容性能少走很多弯路。6.4 关于阵列方案的最终建议用途决定RAID级别最后说说RAID级别的选择。很多新手喜欢问到底选RAID 5还是RAID 10我的回答永远是看用途。跑数据库特别是OLTP型数据库RAID 10是唯一真神。RAID 5的随机写性能和重建速度在数据库场景下都不够看。跑文件共享、备份存储这种顺序读写多、容量要求高的业务RAID 5或RAID 6更划算。系统盘无脑RAID 1两块盘足够别为省空间搞RAID 0系统盘挂了比数据盘挂了更麻烦。超过8块盘的RAID 5我强烈建议改为RAID 6。盘越多单盘故障重建时间越长期间再坏一块盘的概率也越高RAID 6的双校验在这里就是保险绳。这些基本判断比任何配置技巧都更能保护你的服务器数据。每次做阵列前把场景想清楚后续能省下无数个凌晨四点进机房的夜晚。