01. AI 硬件与芯片
本章定位:算力底座的"统一语言"。集群里的一切讨论——显存够不够、网络快不快、能效好不好——最终都要落到芯片与板卡规格上。本章建立 计算 / 显存 / 互联 三个维度的分析框架,再给出从选型到验收的工程方法。
文章目录
- AI 加速卡全景:架构、代际与选型 —— GPU 的三大件(Tensor Core / 显存带宽 / NVLink)演进逻辑,训练/推理/科学计算场景的选型矩阵。
- 万卡集群硬件选型与验收清单 —— 从算力/显存/互联/存储/功耗五个维度做选型决策,HPL / Stream / 带宽 / 72h 稳定性四步验收法。
📌 规划中:GPU 驱动与生命周期管理、液冷与机房散热设计、PCIe/NVLink 拓扑规划。
阅读路径建议
- 做采购/架构决策:先读加速卡全景建立选型矩阵,再按验收清单走一遍流程。
- 做集群交付/运维:直接进选型验收清单,对照逐项检查。
- 想深入架构:从加速卡全景的"三大件"框架切入,再结合训练章(分布式训练)理解算力如何被调度。
关键结论速览
- 看一张加速卡,永远看三件事:算力(TFLOPS)、显存带宽(TB/s)、互联带宽(GB/s)——三者共同决定训练吞吐,缺一不可。
- 训练场景 GPU 换代的核心是显存带宽:H100 的 3.35 TB/s 相比 A100 的 2.0 TB/s 提升 67%,这是计算密度提升之外的真正杠杆。
- 选型的终局检验是实测:所有纸面规格都要过 HPL(算力)、Stream(显存带宽)、
nccl-tests(互联)三关,再跑 72 小时稳定性。