1. 为什么在 CentOS 7 上装 CUDA 11.2 值得单独写一篇CentOS 7 这个系统版本做过深度学习环境部署的人应该都有印象——它稳定、保守、软件包版本偏旧但偏偏很多实验室的服务器、公司的训练节点、甚至一些老旧的 GPU 工作站至今还跑着它。而 CUDA 11.2 是一个比较特殊的分水岭版本它既支持较新的显卡架构比如 Ampere 系列的算力 8.0/8.6又对驱动版本的要求没有后来 CUDA 11.8、12.x 那么激进很多框架比如 PyTorch 1.8~1.10 这一段官方预编译包就是对着 CUDA 11.x 系列做的。所以“CentOS 7 CUDA 11.2”这个组合在实际工作中出现的频率远比想象中高。但问题在于CentOS 7 的默认 GCC 版本是 4.8.5内核版本是 3.10这两个数字在安装 CUDA 11.2 的时候会反复出来“找麻烦”。NVIDIA 官方文档虽然给了步骤但它默认你用的是比较新的发行版很多坑不会写出来。我自己在几台不同配置的机器上装过这个组合从“一路回车就成功”到“装完 nvidia-smi 报错、驱动模块加载失败”的情况都遇到过。这篇就把整个流程拆开讲清楚每一步为什么这么做、哪些地方容易翻车、翻车之后怎么排查。适合读这篇的人大概分三类一是手里有一台 CentOS 7 的 GPU 服务器需要从零把 CUDA 环境搭起来二是装到一半卡住了想找找别人踩过的坑三是想搞清楚 CUDA、驱动、GCC 这几者之间到底是怎么互相牵制的。不管你属于哪一类下面的内容都会尽量把“为什么”讲透而不是只丢一串命令。2. 动手之前必须搞清楚的几个前置条件2.1 显卡、驱动、CUDA 三者的版本对应关系很多人一上来就yum install cuda结果装完发现驱动版本不对或者显卡太老根本不支持。这里先把关系理清楚显卡决定你能用多新的驱动驱动决定你能用多新的 CUDACUDA 决定你能跑哪些框架版本。这是一条单向的约束链不能反过来。CUDA 11.2 对驱动的最低要求是 460.27.04Linux 64-bit。如果你打算用 runfile 方式安装安装包里其实自带了一个驱动版本通常是 460.xx 系列可以选择一起装。但如果你机器上已经有驱动了就要先确认版本够不够。查驱动版本很简单nvidia-smi输出右上角会显示Driver Version: 460.xx.xx这样的信息。如果这个命令直接报command not found说明驱动还没装那就得先解决驱动问题。再看显卡是否支持。CUDA 11.2 支持的算力范围大致是 3.5 到 8.6。太老的卡比如算力 3.0 的 Kepler 早期型号已经不在支持列表里了。可以用下面这个命令看显卡型号lspci | grep -i nvidia拿到型号后去对照算力表。这一步别偷懒我见过有人在一张算力 2.1 的老卡上折腾了一下午最后才发现根本不支持。2.2 CentOS 7 的 GCC 版本陷阱这是 CentOS 7 上装 CUDA 最经典的坑。CUDA 11.2 官方支持的 GCC 上限是GCC 9而 CentOS 7 默认的 GCC 是4.8.5。4.8.5 能不能用能但仅限于编译一些简单的 CUDA 程序。一旦你要编译 PyTorch 的扩展、或者某些依赖 C14/17 特性的库4.8.5 就会直接报错。所以我的建议是装 CUDA 之前先把 GCC 升到 7 或 8。为什么不是直接上 9因为 CentOS 7 上通过devtoolset装高版本 GCC 时9 有时候会和系统里某些库的 ABI 打架7 和 8 相对稳。具体操作yum install centos-release-scl yum install devtoolset-8 scl enable devtoolset-8 bashscl enable只对当前 shell 生效退出就没了。想永久生效可以把这行加到~/.bashrc里。装完之后gcc --version应该显示 8.x。注意升级 GCC 之后如果你之前编译过任何东西最好重新编译因为 ABI 可能变了。这一点在装 CUDA 之前做比装完之后再改要省事得多。2.3 关闭 Nouveau 驱动Nouveau 是 Linux 社区为 NVIDIA 显卡写的开源驱动。它和 NVIDIA 官方驱动不能共存如果不禁用装官方驱动的时候会直接冲突轻则装不上重则进不了图形界面。禁用步骤分两步。第一步创建配置文件echo -e blacklist nouveau\noptions nouveau modeset0 /etc/modprobe.d/blacklist-nouveau.conf第二步重建 initramfs 并重启dracut --force reboot重启之后验证一下lsmod | grep nouveau如果没有任何输出说明禁用成功。这一步在 CentOS 7 上尤其重要因为很多最小化安装的镜像里 Nouveau 是默认加载的。2.4 确认内核头文件和开发工具齐全CUDA 的驱动模块在安装时需要编译编译就需要内核头文件。CentOS 7 上装内核头文件的命令是yum install kernel-devel-$(uname -r) kernel-headers-$(uname -r)这里有个细节$(uname -r)必须和你当前运行的内核版本完全一致。如果你之前yum update过内核但没重启uname -r显示的是旧内核而kernel-devel装的是新内核的两者对不上编译就会失败。所以装之前先uname -r看一眼必要时重启到最新内核再操作。另外gcc、make、dkms这几个包也建议装上yum install gcc make dkmsdkms的作用是在内核升级后自动重新编译驱动模块省得每次升级内核都要手动重装驱动。3. 两种安装方式的取舍runfile 还是 rpmCUDA 在 Linux 上有两种主流安装方式runfile.run 文件和rpm 包。这两种方式在 CentOS 7 上的体验差别很大选错了后面会很痛苦。3.1 runfile 方式的适用场景与操作runfile 是一个自解压的安装脚本最大的好处是灵活你可以选择只装 CUDA Toolkit 不装驱动也可以选择驱动和 Toolkit 一起装可以自定义安装路径卸载的时候直接跑cuda-uninstaller就行不会在系统里留一堆 rpm 包。下载地址在 NVIDIA 官方的 CUDA Toolkit Archive 页面选 11.2.0 版本然后选 Linux - x86_64 - CentOS 7 - runfile (local)。下载下来大概 2.5GB 左右。安装命令sh cuda_11.2.0_460.27.04_linux.run跑起来之后会先解压然后进入一个文本界面。这里有几个关键选择如果驱动已经装好了把 Driver 那一项的勾去掉只装 CUDA Toolkit。Toolkit 的安装路径默认是/usr/local/cuda-11.2建议保持默认。会问你要不要创建/usr/local/cuda软链接选 Yes这样以后切换版本方便。安装完成后需要配置环境变量。在~/.bashrc里加export PATH/usr/local/cuda-11.2/bin:$PATH export LD_LIBRARY_PATH/usr/local/cuda-11.2/lib64:$LD_LIBRARY_PATH然后source ~/.bashrc用nvcc -V验证。3.2 rpm 方式的适用场景与操作rpm 方式适合需要批量部署或者希望用 yum 管理依赖的场景。它的好处是安装过程标准化坏处是它会往系统里塞一堆 rpm 包而且驱动和 Toolkit 的版本绑定比较死。rpm 安装分两步。先装仓库配置yum install https://developer.download.nvidia.com/compute/cuda/repos/rhel7/x86_64/cuda-rhel7.repo然后yum clean all yum install cuda-11-2注意这里包名是cuda-11-2不是cuda。如果直接yum install cuda装的是仓库里最新的版本可能就不是 11.2 了。rpm 方式装完之后环境变量同样要配路径也是/usr/local/cuda-11.2。3.3 两种方式的对比与我的选择建议对比项runfilerpm安装灵活性高可自选组件低整包安装卸载干净度高有专用卸载器中需手动清理依赖驱动版本控制可跳过驱动容易连带升级驱动适合场景单机、调试、版本切换批量、标准化部署对 CentOS 7 友好度较好一般依赖较多我个人的习惯是单机调试用 runfile批量部署用 rpm。CentOS 7 上尤其推荐 runfile因为它的依赖关系简单不容易和系统里已有的库冲突。rpm 方式在 CentOS 7 上偶尔会遇到epel-release版本不匹配导致的依赖问题排查起来比较烦。4. 安装过程中最容易翻车的几个环节4.1 驱动模块编译失败Unable to find the kernel source tree这个报错几乎每个在 CentOS 7 上装 CUDA 的人都见过。原因就是前面说的内核头文件问题。但有时候你明明装了kernel-devel它还是报这个错那就要检查uname -r和/usr/src/kernels/下面的目录名是否一致。如果不一致说明当前运行的内核和头文件版本对不上重启到匹配的内核即可。如果/usr/src/kernels/是空的说明kernel-devel根本没装上检查 yum 源。还有一个隐蔽的情况kernel-devel装了但路径是/usr/src/kernels/3.10.0-1160.el7.x86_64而安装脚本去找的是/lib/modules/$(uname -r)/build。这个build是一个软链接正常情况下指向/usr/src/kernels/$(uname -r)。如果这个软链接断了也会报同样的错。修复方法ln -sf /usr/src/kernels/$(uname -r) /lib/modules/$(uname -r)/build4.2nouveau没禁干净导致的安装中断有时候你按步骤禁用了 Nouveaulsmod也查不到但安装驱动的时候还是报冲突。这种情况多半是因为initramfs 没有重建或者重建了但没重启。Nouveau 可能被编译进了 initramfs系统启动早期就加载了lsmod在用户态看不到但驱动安装程序能检测到。解决办法就是老老实实dracut --force然后reboot。别想着跳过重启这一步省不了。4.3 GCC 版本过高或过低引发的编译错误前面说了 GCC 4.8.5 太老但 GCC 版本太高也会出问题。比如你装了 GCC 10 或 11编译 CUDA 11.2 的某些组件时会报unsupported GNU version。CUDA 11.2 官方支持到 GCC 9超过这个版本就不保证了。如果你确实需要用高版本 GCC 编译其他东西又不想影响 CUDA可以用devtoolset做环境隔离平时用系统默认 GCC编译 CUDA 相关的东西时scl enable devtoolset-8 bash切到 8。这样两边互不干扰。4.4 安装完成后nvidia-smi报Failed to initialize NVML装完驱动重启满心欢喜敲nvidia-smi结果给你来一句Failed to initialize NVML: Driver/library version mismatch。这个错误的意思是内核里加载的驱动模块版本和用户态的库版本不一致。常见原因是你之前装过旧版驱动装 CUDA 11.2 时又装了新驱动但旧模块还在内存里没卸载。解决办法是重启。如果重启还不行就手动卸载再加载rmmod nvidia modprobe nvidia如果rmmod报Module nvidia is in use说明有进程占着显卡用lsof /dev/nvidia*找到进程杀掉再试。还有一种情况是 Secure Boot 开着导致新编译的驱动模块没有签名加载被拒绝。CentOS 7 上 Secure Boot 默认可能是开的进 BIOS 关掉或者给模块签名。关掉最简单。5. 装完之后怎么验证环境真的可用5.1 用nvcc和nvidia-smi做基础检查nvidia-smi能正常输出显卡信息说明驱动没问题。nvcc -V能输出版本号说明 Toolkit 装好了。但这两个都通过不代表 CUDA 程序一定能跑。还要看LD_LIBRARY_PATH有没有配对/usr/local/cuda软链接有没有指对。一个快速的检查清单which nvcc nvcc -V nvidia-smi echo $LD_LIBRARY_PATH ls -l /usr/local/cudawhich nvcc应该输出/usr/local/cuda-11.2/bin/nvcc或者通过软链接指向它。ls -l /usr/local/cuda应该显示指向cuda-11.2。5.2 编译一个最小 CUDA 程序验证光看版本号不够最好实际编译跑一个程序。写一个最简单的// test.cu #include stdio.h __global__ void hello() { printf(Hello from GPU thread %d\n, threadIdx.x); } int main() { hello1, 5(); cudaDeviceSynchronize(); return 0; }编译nvcc -o test test.cu ./test如果输出五行Hello from GPU thread说明从编译到运行整条链路都通了。如果编译报错多半是 GCC 版本问题如果运行报错多半是驱动或库路径问题。5.3 用 PyTorch 做一次端到端验证如果你装 CUDA 是为了跑深度学习那最终验证还是要落到框架上。装一个对应 CUDA 11.2 的 PyTorch 版本比如 1.9 或 1.10然后import torch print(torch.__version__) print(torch.cuda.is_available()) print(torch.cuda.get_device_name(0))torch.cuda.is_available()返回True并且能打印出显卡型号才算真正可用。如果返回False但nvidia-smi正常那多半是 PyTorch 版本和 CUDA 版本不匹配或者LD_LIBRARY_PATH没包含 CUDA 的 lib64。提示PyTorch 官方预编译包对 CUDA 版本很敏感。CUDA 11.2 对应的 PyTorch 通常是 cu112 后缀的包。装错了会直接is_available()返回 False而且报错信息很不明显。6. 多版本 CUDA 共存与切换的实用做法6.1 用软链接管理默认版本实际工作中经常需要在不同 CUDA 版本之间切换比如一个项目要 11.2另一个要 11.8。最省事的做法是所有版本都装在/usr/local/cuda-版本号下然后用/usr/local/cuda这个软链接指向当前默认版本。切换的时候rm -f /usr/local/cuda ln -s /usr/local/cuda-11.2 /usr/local/cuda环境变量里统一用/usr/local/cuda这样切换软链接就切换了版本不用改~/.bashrc。6.2 环境变量切换的注意事项如果你不想动全局软链接也可以在~/.bashrc里写多个函数use_cuda112() { export PATH/usr/local/cuda-11.2/bin:$PATH export LD_LIBRARY_PATH/usr/local/cuda-11.2/lib64:$LD_LIBRARY_PATH }但要注意LD_LIBRARY_PATH是累加的反复切换会越来越长而且旧版本的路径还在里面可能导致加载到错误的库。更稳妥的做法是每次切换时先重置export LD_LIBRARY_PATH/usr/local/cuda-11.2/lib64而不是往后面追加。6.3 驱动版本与多 CUDA 版本的关系这里有个关键点驱动是向下兼容的。也就是说你装了一个比较新的驱动比如 470 或 495它可以同时支持 CUDA 11.2、11.4、11.8 等多个版本。所以多版本共存时驱动只需要装一个最新的CUDA Toolkit 装多个互不冲突。但反过来不行如果你装的是 460 驱动想跑 CUDA 11.8那就不行因为 11.8 要求驱动 520。所以多版本共存时驱动版本要按你需要的最高 CUDA 版本来定。7. 卸载与重装别把系统搞脏了7.1 runfile 安装的卸载方法runfile 方式装的卸载很干净/usr/local/cuda-11.2/bin/cuda-uninstaller跑完之后再把/usr/local/cuda-11.2目录删掉把~/.bashrc里的环境变量注释掉就彻底干净了。驱动如果也是 runfile 装的可以用nvidia-uninstall卸载。7.2 rpm 安装的卸载方法rpm 方式装的用 yum 卸载yum remove cuda-11-2但要注意它可能连带装了一堆cuda-*-11-2的包比如cuda-cudart-11-2、cuda-nvcc-11-2等。用rpm -qa | grep cuda列出来逐个删。驱动如果是通过 rpm 装的包名通常是nvidia-driver-latest-dkms之类也要一并处理。7.3 重装前必须清理的残留重装之前如果之前装失败过一定要清理干净否则新装的时候会各种冲突。需要检查的地方/usr/local/cuda*目录是否还在/etc/ld.so.conf.d/下有没有残留的 CUDA 配置~/.bashrc里的环境变量lsmod | grep nvidia看模块是否还加载着/etc/modprobe.d/下的 blacklist 配置我遇到过最麻烦的情况是旧驱动卸载了但/etc/ld.so.conf.d/cuda.conf还留着导致新装的 CUDA 加载了旧的库nvidia-smi一直报版本不匹配。把那个文件删掉ldconfig刷新一下就好了。8. 一些实际部署中总结出来的经验装 CUDA 这件事说难不难说简单也不简单。命令就那么几条但每条背后都有前提条件。我自己踩过的坑里八成以上都和“前置条件没满足”有关内核头文件没装对、Nouveau 没禁干净、GCC 版本不对、驱动版本不匹配。真正安装过程本身出问题的反而少。所以如果你正准备在 CentOS 7 上装 CUDA 11.2我的建议是把第 2 节的前置检查老老实实做一遍别跳。花十分钟检查能省下后面一两个小时的排查。尤其是uname -r和kernel-devel版本一致性这一条看起来不起眼但它是驱动编译失败的头号原因。另外装完之后别只看nvidia-smi一定要实际编译跑一个 CUDA 程序再用 PyTorch 验证一次。三层验证都过了才算真的稳。只跑nvidia-smi就以为万事大吉等到跑训练脚本的时候才发现cuda.is_available()是 False那就白折腾了。最后分享一个小技巧如果你有多台机器要装同样的环境可以把整个流程写成一个 shell 脚本把版本号、路径都做成变量。下次换台机器改改变量直接跑比手动一步步敲靠谱得多。脚本里记得加上每一步的检查点哪一步失败就停下来报错别让它一路跑到底最后给你一个莫名其妙的结果。