新 GPU 服务器到手 5 步验机——避免买到”缩水卡”的完整流程
新 GPU 服务器到手 5 步验机——云数方舟（YunArk） 避免买到”缩水卡”的完整流程
租用GPU 服务器后，很多用户直接就开始跑模型，结果发现训练速度不对劲、显存报不足、多卡并行没加速——这些问题如果在使用前 10 分钟做一次完整验机，完全可以提前发现并要求服务商更换。下面是用 5 个命令/工具完成 GPU 服务器验机的标准流程。
第一步：确认 GPU 型号与驱动状态
登录服务器后，第一条命令：
nvidia-smi
你需要核对：
- GPU 型号：是否与订购的一致（如 RTX 4090 / RTX 5090 / A100 / H100）
- 显存总量：4090 应显示 24564MiB 左右，5090 应显示 32768MiB 左右
- 驱动版本：Driver Version 应 ≥ 535（支持 CUDA 12.x）
- 功耗状态：Idle 时功耗应很低，如果空载就显示高功耗说明有异常进程
第二步：验证 CUDA / cuDNN 可用性
运行以下命令确认 CUDA 编译器版本：
nvcc --version
再用 Python 快速检测 PyTorch 是否能正常调用 GPU：
python3 -c 'import torch; print(torch.cuda.is_available(), torch.cuda.get_device_name(0))'
正常应输出：True NVIDIA GeForce RTX 4090（或对应型号）。如果返回 False，说明 CUDA 环境未正确安装。
第三步：测试显存带宽（关键）
下载并编译 CUDA Samples 中的 bandwidthTest：
/usr/local/cuda/samples/bin/x86_64/linux/release/bandwidthTest --device=0
关注 Device to Device Bandwidth 数值：
- RTX 4090 正常值：~950–1000 GB/s
- RTX 5090 正常值：~1700–2000 GB/s
- A100 80G：~1900–2000 GB/s
如果实测值只有标称的 60% 以下，可能是 PCIe 降速或卡被限速。
第四步：多卡通信验证（多卡机型必做）
查看多卡拓扑关系：
nvidia-smi topo -m
检查 PIX / PXB / NODE 关系，确认 GPU 间是否支持 P2P 通信。如果所有卡都显示 SYS（经过 CPU），多卡并行效率会大幅下降。
第五步：网络与磁盘 IO 基准测试
磁盘顺序读速（NVMe 应 ≥ 3000 MB/s）：
dd if=/dev/zero of=/tmp/test bs=1G count=4 oflag=direct
网络晚高峰测速（建议晚 8–11 点执行）：
curl -s https://raw.githubusercontent.com/sivel/speedtest-cli/master/speedtest.py | python3 -
对比承诺带宽，如 1G 端口实测应 ≥ 800Mbps。
验机发现问题怎么办？
- 型号不符 / 显存缩水 → 立即联系服务商要求更换
- 带宽不达标 → 要求提供 MTR 报告或更换端口
- 多卡 P2P 不通 → 确认 BIOS PCIe 设置或要求更换主板
📌 需要测试 GPU 服务器性能？
云数方舟 GPU 产品页 ｜
美国 GPU 服务器（支持测试）
本文由 云数方舟（YunArk） 原创发布，转载请注明出处。
