达拉斯 8×H100 跑 LLaMA-70B 量化推理，10G 口够不够？按 KV Cache 带宽算
LLaMA-70B 量化推理是 GPU 服务器的高阶应用场景。达拉斯 8×H100 提供 640GB HBM3 显存（每卡 80GB），跑 70B 模型（4-bit 量化后约 35GB）绰绰有余。但 10G 口够不够支撑推理服务的网络 IO？云数方舟 帮你算。
第一步：LLaMA-70B 4-bit 量化的显存占用。70B 参数 × 4 bit = 35 GB。加上 KV Cache（每个 token 约 2-4 KB），一个 2048 token 的上下文 KV Cache 约 4-8 MB。8×H100 的 640GB 总显存，可同时加载多个模型副本或超长上下文。
第二步：推理时的网络带宽需求。推理服务（如 vLLM、TGI）的网络 IO 主要来自：
– 请求输入：用户发送的 prompt（通常 < 4KB）。
– 响应输出：生成的 token 流（每个 token 约 2-4 字节，假设生成 500 token ≈ 1-2 KB）。
– 并发数：假设 100 并发用户，每秒生成 100 × 500 token = 50000 token ≈ 100-200 KB/s。
这里说的”推理服务的网络带宽需求极小”，这个是指 token 是逐字节流式输出的，每秒几 KB 到几十 KB，10G 口（1250 MB/s）完全不是瓶颈。
第三步：什么情况下 10G 口会成为瓶颈？
– Embedding 服务：将长文本转为向量（如 8K token 的 embedding 输出 4096 维 float32 = 16 KB），高并发时可能到 MB/s 级别，但仍在 10G 范围内。
– 模型下载/更新：从 HuggingFace 下载 70B 模型（约 140GB 原始，35GB 量化），10G 口下载约 30-120 秒（取决于 HF 源站速度）。
– 多节点推理：如果需要 2 台 8×H100 做张量并行，节点间 NVLink 不够（跨机用 10G 口），那 10G 会成为致命瓶颈（GPU 互连需要 100G+）。但单台 8×H100 内是 NVSwitch 全互联，不需要 10G 做 GPU 通信。
| 场景 | 网络带宽需求 | 10G 口够？ |
|---|---|---|
| LLaMA-70B 推理（100并发） | < 1 MB/s | 绰绰有余 |
| Embedding 批量计算 | 10-50 MB/s | 够 |
| 模型下载（35GB 量化） | 峰值 1250 MB/s | 刚好跑满 |
| 多机张量并行 | > 100 Gbps | 不够（需 InfiniBand） |
行动建议。在 达拉斯 8×H100 上跑 LLaMA-70B 量化推理，10G 口完全够用。瓶颈永远在 GPU 算力（token 生成速度）和显存容量（并发数），不在网络。如果要做多机并行推理（如 2 台 8×H100 跑 405B 模型），需要 100G/400G 互联，那已超出 10G 口的能力——但那是超算级需求，不是普通推理。记住：推理看 GPU，训练看 IO，10G 口对推理来说”永远够用”。
📌 查看云数方舟达拉斯 H100 方案：
云数方舟官网 ｜ 达拉斯显卡服务器（8×H100/10G）
本文由 云数方舟 技术团队原创发布，转载请注明出处。
