一、CUDA 和 cuDNN 简介

CUDA：让 GPU 变成“数学天才”的工具箱

  • 是什么：CUDA 是 NVIDIA 开发的“翻译器+工具箱”。能把复杂的计算任务（比如矩阵乘法、神经网络运算）翻译成GPU能理解的指令。没有CUDA，GPU只能处理简单的图形渲染，无法参与深度学习的计算。
  • 为什么需要：大模型的运算涉及海量数据并行计算（比如同时处理1000个数字相乘）。CPU（电脑的大脑）擅长逻辑判断但“手速慢”，而 GPU 有成千上万个“小计算单元”，CUDA 能让这些小单元分工协作，把计算速度提升几十倍。

cuDNN：给深度学习“开外挂”的加速器

  • 是什么：cuDNN 是专门为深度学习优化的“外挂包”，它基于 CUDA 开发，针对神经网络的关键操作（如卷积、池化层）做了极致优化，相当于给数学天才（GPU）配了一把趁手的“瑞士军刀”。
  • 为什么需要：如果用原始 CUDA 开发大模型，就像用菜刀切牛排——能切但效率低。cuDNN直接提供预制好的高效函数，比如把图像识别中的卷积运算速度提升2倍以上，还能减少内存占用，让大模型跑得更流畅。

举个栗子
假设你要用GPU训练一个识别猫的模型：

  • 没有CUDA：GPU 只会“画图”，CPU 吭哧吭哧算到天亮。
  • 有CUDA但没cuDNN：GPU 能算了，但每个卷积层都要自己写代码优化，像用算盘做微积分。
  • CUDA+cuDNN：GPU 直接调用现成的高效算法，像用计算器秒解方程。

二、安装前的准备工作

2.1 检查硬件的兼容性

确认显卡为 NAVIDA GPU。（通过快捷键 Win + R 唤出"运行"，输入"control /name Microsoft.DeviceManager"唤出「设备管理器」，点击「显示适配器」查看是否有 NVIDIA 字样。
 

2.2 验证 CUDA 支持性

通过快捷键 Win + R 唤出"运行"，输入"cmd"唤出命令行，
 

在命令行中输入"nvidia-smi"，查看右上角显示的 CUDA 版本（如12.5），该数字表示驱动支持的最高CUDA版本，CUDA 版本需与显卡驱动、cuDNN 版本严格匹配，否则会导致兼容性问题。

三、安装 CUDA

3.1 下载 CUDA

访问 NVIDIA CUDA （https://developer.nvidia.com/cuda-toolkit-archive）下载页面，选择与驱动兼容的版本。因为我的驱动最高支持12.5，所以 CUDA ToolKit 12.5.x 或以下的都可以下载，在这里我选择下载 CUDA Toolkit 12.4.1
 

点击对应的 CUDA ToolKit版本后，出现下图

3.2 安装 CUDA
 

下载完成后，点击 exe 文件运行。
 

点击"同意并继续"

选择"自定义"，点击"下一步"


点击"CUDA",取消"Visual Studio Integration"的勾选（解释："Visual Studio Integration"用于将 CUDA 工具链与 Visual Studio 开发环境集成的组件，如果没有安装Visual Studio，不需要安装此组件以避免安装 CUDA 失败）

点击"Driver components",取消"Display Driver"和"HD Audio"的勾选（解释：CUDA 安装包自带的显卡驱动版本（如下图 551.78) 可能与 当前系统安装的显卡驱动版本（如下图 555.85）存在差异，覆盖安装可能会导致蓝屏、卡顿或兼容性问题；HD Audio 是 NVIDIA 显卡的 HDMI/DP 接口音频输出驱动，与 CUDA 的 GPU 计算无关，所以不需要安装）

点击"下一步"


3.3 验证 CUDA 是否安装成功
 

安装需要等待一段时间，当安装完成后，重启电脑。通过快捷键 Win + R 唤出"运行"，输入"cmd"唤出命令行，输入"nvcc -V",如下图所示则表示安装成功
 


四、安装 cuDNN
 

4.1 注册 NVIDIA 账户
 

下载 cuDNN 需要 NVIDIA 的账户，故此需要先注册。访问 NVIDIA 的注册地址（https://developer.nvidia.com/login），输入邮箱、密码后，在邮箱中验证邮件完成注册
 

4.2 下载 cuDNN
 

访问 cuDNN Archive（https://developer.nvidia.com/rdp/cudnn-archive），选择对应版本的 cuDNN 进行下载。下载前需要提前注册 NVIDIA 账号


4.3 安装 cuDNN
 

解压下载好的 cuDNN 文件 至 CUDA 安装目录。如果是默认安装路径，CUDA 安装目录为"C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4"，v12.4为安装的 CUDA 版本。
 


解压文件至 CUDA 安装目录，系统会提示"替换目标中的文件"，点击替换，如下图所示。至此 CUDNN 就安装完成了
 


五、可能出现的情况


5.1 运行 "nvcc -v 提示未找到命令"
 

出现该错误信息，可能表示 CUDA 的安装路径没有添加到系统的环境变量，因此需要手动将 CUDA 的 bin 目录添加到系统的环境变量。
 

  1. 打开系统环境变量配置页面

通过快捷键 Win + R 唤出"运行"，输入"sysdm.cpl"，点击"高级"，再点击"环境变量"
 

2. 配置相关环境变量

2.1 在"系统变量"下点击"新建"，变量名为CUDA_PATH，值根据 CUDA 安装目录进行修改

2.2 在"系统变量"下点击"新建"，CUDA 版本为12.4，变量名就为"CUDA_PATH_V12_4",根据你安装的 CUDA 版本进行修改。值根据 CUDA 安装目录进行修改
 


3.验证是否配置成功

添加完两个系统环境变量后，重启电脑。通过快捷键 Win + R 唤出"运行"，输入"cmd"唤出命令行，输入"nvcc -V",如下图所示则表示安装成功


六、注意事项


驱动、CUDA、cuDNN、框架四者版本必须严格匹配

  • 原因：
    • NVIDIA 驱动版本需支持目标 CUDA 版本（例如 CUDA 12.x 需要驱动版本≥525.60）。
    • cuDNN 必须与 CUDA 版本对应（例如 CUDA 11.8 对应 cuDNN 8.7.x）。
    • 深度学习框架（如PyTorch/TensorFlow）可能仅支持特定 CUDA 版本（如 TensorFlow 2.15 仅支持CUDA 12.0）。
  • 操作：

CUDA 安装路径不要包含中文或空格

  • 原因：
    • 默认路径为：C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8 (11.8 为 CUDA 的版本）
    • 自定义路径可能导致环境变量配置错误