清华大学 GPU 集群交付复盘：从架构到验收
摘要：一次大型 GPU 集群交付，本质是把"业务需求"翻译成"架构决策"，再把"架构决策"兑现成"可验收的系统"。本文复盘主导清华 GPU 集群交付的完整路径——需求、架构、验收、排障各环节的方法论，细节已脱敏，方法可复用。
1. 需求拆解：先问清楚"给谁用、跑什么"
交付最怕的是"客户说 100 卡，实际是 100 卡跑 3 种完全不同的负载"。需求阶段必须锁死四件事：
| 需求维度 | 必须问清的问题 | 影响决策 |
|---|---|---|
| 负载类型 | 训练/推理/科学计算？各自占比？ | 算力 vs 带宽 vs FP64 配比 |
| 并发规模 | 同时跑几个作业？单作业最大卡数？ | 调度策略、队列划分 |
| 数据规模 | 数据集/检查点多大？读写模式？ | 存储容量与带宽 |
| 用户水平 | 研究人员/工程师/学生？ | 软件栈复杂度、文档与培训投入 |
本例结论：以大规模 LLM 训练为主、多用户并发，科学计算为辅 → 算力优先、互联高配、存储按训练负载设计。
2. 架构决策：三大件 + 存储 + 调度
2.1 算力与互联
- 节点规格：8 卡 GPU 节点（NVLink 全互联），TP=8 单节点打底——跨节点只跑 PP/DP，通信占比可控。
- 节点间网络：IB 高速网络 + 胖树拓扑，满足 AllReduce 均匀散列；RoCE 方案需严格 PFC/ECN（见 NCCL 调优）。
- 决策依据：用目标模型（如 70B）+ 并行策略倒推（见 分布式并行全景），而不是拍脑袋定卡数。
2.2 存储
- 并行文件系统（Lustre/GPFS 类）承载数据集与检查点，聚合带宽按"checkpoint 分钟级落盘"倒推（见 验收清单）。
- 家目录/共享目录与高速存储分离，避免"小 IO 打爆大带宽"。
2.3 调度与软件栈
- Slurm 异构调度：GPU 节点 + CPU 节点混管，gres 配置 GPU 资源，队列按作业类型划分（训练队列/测试队列/交互队列）。
- 容器运行时（Singularity/Apptainer 或 Enroot）+ 镜像仓库，保证环境可复现——可复现性是交付质量的底线。
- 监控：GPU 利用率、温度、ECC、IB 流量统一接入，交付即移交监控，不留运维空白。
3. 四步验收：不达标不签字
严格按照 验收清单 的流程执行：
Step 1 HPL 单节点算力 → 实测 ≥ 规格 95%
Step 2 Stream 显存带宽 → 实测 ≥ 规格 90%
Step 3 nccl-tests 跨节点互联 → 256 卡 busbw ≥ 40 GB/s（400G IB）
Step 4 72h 真实负载烤机 → 训练+推理+数据加载混合跑，无致命错误本例关键数据：单节点 HPL 全部达标（无降频）；跨节点 nccl-tests 初次 38 GB/s 略低于线，定位为 ECMP 散列不均，开启 enhanced hash 后 45 GB/s 达标。
4. 排障实录：三个代表性问题的处置
4.1 ECMP 散列不均（互联层）
- 现象：256 卡 nccl-tests 波动大，个别链路满载。
- 定位：逐对测 2 节点正常 → 全集群测异常 → 交换机 telemetry 看流量分布。
- 处置：开启 ECMP enhanced hash（l4 端口散列），重测恢复正常。教训：大规模基准必须在拓扑层验收，单点正常不代表集群正常。
4.2 数据加载 IO 瓶颈（存储层）
- 现象：训练 GPU 利用率 60%，数据加载等待占比高。
- 定位：
nvidia-smi看 GPU 空转 + 存储侧 IOPS 打满。 - 处置：数据预取/缓存层 + 并行文件系统客户端数扩容，利用率回到 90%+。教训：算力验收通过 ≠ 训练跑得快，数据管线是隐藏瓶颈。
4.3 驱动与容器兼容（软件层）
- 现象：部分用户容器起不来，报 CUDA 版本错误。
- 定位：驱动支持版本 vs 镜像内 CUDA 运行时版本不匹配。
- 处置：制定"驱动/CUDA/镜像兼容矩阵"文档 + 基础镜像统一维护。教训：软件栈标准化是交付后运维的核心资产（见 驱动生命周期）。
5. 交付清单（可复用）
- [ ] 需求四问（负载/并发/数据/用户）已锁死
- [ ] 算力/互联/存储按目标负载倒推，有据可查
- [ ] 四步验收全部达标（HPL/Stream/nccl-tests/72h）
- [ ] 拓扑层基准通过（256 卡跨机），非仅单点
- [ ] 数据管线验证：训练 GPU 利用率 ≥ 85%
- [ ] 软件栈标准化：镜像/驱动/CUDA 兼容矩阵文档化
- [ ] 监控与告警移交，运维 runbook 就绪
- [ ] 备份与检查点策略落地（恢复演练通过）
延伸阅读：北京大学 HPC 项目交付复盘（科学计算视角的补充）、NVIDIA 技术认证备考指南（能力验证路径）。