随着深度学习与高性能计算场景的普及，NVIDIA GPU已成为众多开发者的核心算力来源。然而，在日常运维中，一个长期困扰CUDA用户的问题始终未得到官方明确回应：当系统进入挂起（suspend）状态时，若仍有CUDA进程在使用GPU，如何安全地卸载并重新加载NVIDIA内核模块？ 这一技术盲点不仅可能引发系统崩溃，更可能导致数据损坏或GPU状态异常。本文将梳理问题根源、现有风险及社区验证的解决方案。
问题溯源：挂起与GPU资源争夺
现代Linux系统支持多种电源管理状态，其中“挂起到内存”（S3睡眠）最为常见。当系统挂起时，内核会依次调用各设备的suspend回调函数，将硬件置于低功耗模式。NVIDIA驱动模块（nvidia、nvidia-drm等）在suspend阶段会尝试释放GPU资源，但如果此时有用户态CUDA进程持有GPU上下文（如未显式调用cudaDeviceReset()），内核模块的卸载便会失败——因为操作系统禁止卸载仍有引用计数的内核模块。
更致命的是，部分发行版（如Ubuntu 22.04+）默认启用了nvidia-persistenced服务，其会在系统启动时持久化NVIDIA驱动状态。该服务与挂起的交互逻辑并不完美，常导致唤醒后GPU处于“僵尸”状态：nvidia-smi能检测到设备，但所有CUDA调用均返回错误。
直接风险：从花屏到数据丢失
不当的卸载重载操作可能导致三类严重后果：
- 系统完全冻结：在挂起过程中强行终止CUDA进程或
rmmod nvidia，可能触发内核页面错误，导致kernel panic，只能硬重启。 - GPU显存泄漏：若CUDA进程未释放显存而系统强行进入挂起，唤醒后该部分显存可能被标记为“不可回收”，持续累积直至OOM。
- 驱动状态异常：
nvidia-smi报告“Unable to determine the device handle”，所有GPU计算任务不可用，必须重启。
可行方案：分步卸载与优雅重载
目前社区经过大量测试，总结出一套相对安全的流程（适用于Linux内核5.10+、NVIDIA驱动535+）：
第一步：暂停并释放CUDA资源
在系统挂起前，手动或通过hook脚本向CUDA进程发送SIGTERM信号，并等待其完成清理。更稳妥的方式是通过cuda-gdb或自定义工具调用cuCtxDestroy()或cuDevicePrimaryCtxRelease()。若无法修改代码，可强制设置环境变量CUDA_FORCE_NO_INTERACTIVE=1并发送SIGKILL——但此方法可能留下僵尸上下文。
第二步：卸载NVIDIA模块（带依赖检查）
使用以下命令顺序卸载模块，每个步骤之间需确认不再被依赖：
sudo rmmod nvidia_uvm
sudo rmmod nvidia_drm
sudo rmmod nvidia_modeset
sudo rmmod nvidia
若卸载失败（例如显示“Module nvidia is in use”），需检查占用进程：
lsmod | grep nvidia
lsof /dev/nvidia*
并手动杀掉残留进程（通常是Xorg或桌面合成器）。
第三步：确保内核准备就绪
在挂起前，将GPU状态设为低功耗：
sudo nvidia-smi -pm 0
sudo nvidia-smi -ac 0,0
然后执行系统挂起（echo mem > /sys/power/state或通过pm-utils）。
第四步：唤醒后重载驱动
唤醒后，重新加载NVIDIA模块并恢复GPU状态：
sudo modprobe nvidia
sudo modprobe nvidia_uvm
sudo nvidia-smi -pm 1
sudo nvidia-smi -ac 5001,1590 # 恢复默认频率
自动化：使用systemd或acpid钩子
为避免手动重复，可将上述流程写入/lib/systemd/system-sleep/目录下的脚本，例如：
#!/bin/bash
case $1 in
pre)
# 杀死CUDA进程，卸载模块
;;
post)
# 重载模块，重启服务
;;
esac
注意需赋予执行权限并chmod +x。
仍有挑战：桌面合成器与Wayland
对于使用Wayland合成器（如GNOME 45+）的环境，显卡驱动模块nvidia_drm与KMS（内核模式设置）深度绑定。若卸除nvidia_drm，所有显示器将瞬间黑屏，可能导致会话崩溃。在Wayland下，建议完全避免卸载驱动，转而在挂起前禁用GPU加速渲染——例如将合成器切换至CPU渲染模式（取决于具体桌面环境设置）。
替代思路：推迟挂起或使用nvidia-suspend工具
NVIDIA官方自驱动版本525.86.05起提供了nvidia-suspend、nvidia-resume等工具，集成于nvidia-powerd或nvidia-utils包中。这些工具通过systemd服务自动管理挂起流程，但前提是没有CUDA进程在运行。若用户坚持在计算过程中挂起，官方文档建议直接使用nvidia-persistenced保持设备始终通电——这显然与节能初衷矛盾。
结语：权衡安全与效率
截至目前，NVIDIA仍未提供一种“进程透明”的内核模块热卸载机制。对于生产环境，最安全的做法是：在系统进入挂起之前，确保所有CUDA上下文已被销毁。若工作流无法中断，则考虑禁用自动挂起（例如通过systemctl mask sleep.target），或改用Docker容器隔离计算任务，利用nvidia-container-toolkit管理GPU生命周期。
这项技术挑战折射出通用操作系统与专用加速设备之间的深层兼容缺口。随着AI推理任务日益边缘化，低功耗挂起与GPU持续性计算之间的调和，仍将是硬件与驱动开发者需要共同破解的课题。