NVIDIA-SMI：GPU监控与管理完全指南

# 显示所有GPU信息
nvidia-smi

# 周期性监控（每1秒刷新一次）
nvidia-smi -l 1

# 查看详细信息
nvidia-smi -q

# 查看特定GPU信息
nvidia-smi -i 0 # 查看GPU 0的信息

# 显示显存使用详情
nvidia-smi --query-gpu=memory.used,memory.free,memory.total --format=csv

# 查看显存使用最多的进程
nvidia-smi --query-compute-apps=pid,used_memory --format=csv

# 监控GPU使用率
nvidia-smi --query-gpu=utilization.gpu --format=csv -l 1

# 监控显存使用率
nvidia-smi --query-gpu=utilization.memory --format=csv -l 1

# 监控温度
nvidia-smi --query-gpu=temperature.gpu --format=csv -l 1

# 查看功耗信息
nvidia-smi --query-gpu=power.draw,power.limit --format=csv

# 设置功耗限制
nvidia-smi -pl 150 # 设置功耗限制为150W

# 列出所有GPU进程
nvidia-smi --query-compute-apps=pid,process_name,used_memory --format=csv

# 按GPU分组显示进程
nvidia-smi --query-compute-apps=gpu_uuid,pid,process_name --format=csv

# 终止指定进程
nvidia-smi --gpu-reset

# 终止特定GPU上的所有进程
nvidia-smi --gpu-reset -i 0

# 查看当前时钟频率
nvidia-smi --query-gpu=clocks.current.graphics --format=csv

# 设置应用程序时钟
nvidia-smi -ac 877,1530 # 设置内存和图形时钟

# 重置时钟设置
nvidia-smi -rgc # 重置图形时钟
nvidia-smi -rmc # 重置内存时钟

# 查看ECC状态
nvidia-smi --query-gpu=ecc.mode.current --format=csv

# 切换ECC模式（需要重启）
nvidia-smi -e 1 # 启用ECC
nvidia-smi -e 0 # 禁用ECC

# 创建持续监控脚本
cat << 'EOF' > gpu_monitor.sh
#!/bin/bash
while true; do
    nvidia-smi --query-gpu=timestamp,name,pci.bus_id,temperature.gpu,utilization.gpu,utilization.memory,memory.used,memory.total,power.draw --format=csv,noheader >> gpu_stats.log
    sleep 60
done
EOF
chmod +x gpu_monitor.sh

# 导出详细性能数据
nvidia-smi --query-gpu=timestamp,name,pci.bus_id,temperature.gpu,utilization.gpu,utilization.memory,memory.used,memory.total,power.draw --format=csv,noheader > gpu_performance.csv

# 检查驱动程序状态
nvidia-smi -q | grep "Driver Version"

# 检查CUDA版本
nvidia-smi -q | grep "CUDA Version"

# 检查GPU错误
nvidia-smi -q | grep "Error"

# 设置持久模式（提高性能）
sudo nvidia-smi -pm 1

# 禁用持久模式
sudo nvidia-smi -pm 0

# 设置计算模式
nvidia-smi -c 0 # 默认模式
nvidia-smi -c 3 # 仅计算模式

#!/bin/bash
# GPU监控脚本

LOG_FILE="gpu_monitoring.log"
INTERVAL=300 # 5分钟间隔

monitor_gpu() {
    while true; do
        date >> $LOG_FILE
        nvidia-smi --query-gpu=timestamp,name,temperature.gpu,utilization.gpu,memory.used,memory.total,power.draw \
            --format=csv,noheader >> $LOG_FILE
        echo "----------------------------------------" >> $LOG_FILE
        sleep $INTERVAL
    done
}

monitor_gpu &

#!/bin/bash
# GPU告警脚本

TEMP_THRESHOLD=80
UTIL_THRESHOLD=90
EMAIL="admin@example.com"

check_gpu() {
    TEMP=$(nvidia-smi --query-gpu=temperature.gpu --format=csv,noheader)
    UTIL=$(nvidia-smi --query-gpu=utilization.gpu --format=csv,noheader | cut -d ' ' -f 1)

    if [ $TEMP -gt $TEMP_THRESHOLD ]; then
        echo "警告：GPU温度过高 ($TEMP°C)" | mail -s "GPU温度警告" $EMAIL
    fi

    if [ $UTIL -gt $UTIL_THRESHOLD ]; then
        echo "警告：GPU使用率过高 ($UTIL%)" | mail -s "GPU使用率警告" $EMAIL
    fi
}

# 添加到crontab
*/5 * * * * /path/to/gpu_monitor.sh
0 * * * * /path/to/gpu_check.sh

# Prometheus格式输出示例
nvidia-smi --query-gpu=timestamp,name,temperature.gpu,utilization.gpu,memory.used,memory.total,power.draw \
    --format=csv,noheader | \
    awk -F, '{printf "gpu_temperature{gpu=\"%s\"} %s\ngpu_utilization{gpu=\"%s\"} %s\n", $2, $3, $2, $4}'

NVIDIA-SMI 550.78: NVIDIA-SMI 的版本号。
Driver Version: 550.78: GPU 驱动程序的版本号。
CUDA Version: 12.4: 已安装的 CUDA 版本。
GPU 信息部分

| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+========================+======================|
这一部分描述了每个 GPU 的状态信息：

| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |

MIG 模式（可选）
Copy code
| | | MIG M. |
MIG M.: 多实例 GPU 模式（MIG）的状态，适用于支持 MIG 的 GPU，如 A100。
示例输出
假设 nvidia-smi 输出如下：

+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 550.78 Driver Version: 550.78 CUDA Version: 12.4 |
|-----------------------------------------+------------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+========================+======================|
| 0 Tesla V100-SXM2-16GB On | 00000000:00:1E.0 Off | 0 |
| N/A 35C P0 24W / 300W | 0MiB / 16160MiB | 0% Default |
| | | N/A |
+-----------------------------------------+------------------------+----------------------+