问答精选：Slurm 异构调度如何配置？CPU/GPU 混合集群实战
本文来自 AI-HPC 智能助手（chat.ai-hpc.org）的真实问答沉淀，回答基于 14 章工程知识库（主要来源：07-heterogeneous、06-cloud 章），经人工整理扩充。
问题
Slurm 异构调度如何配置？CPU/GPU 混合集群怎么做资源管理？
核心结论
Slurm 本身是异构友好的调度器：GPU、MIC 等加速设备通过 GRES（Generic RESources） 机制纳入统一资源视图，配合 slurm.conf 的节点定义、分区（Partition）划分与 --gres 提交约束，即可在 CPU/GPU 混合集群上实现细粒度的异构调度（来源：07-heterogeneous 章）。
一、GPU 资源定义：GRES 核心配置
在 slurm.conf 中为节点声明 GPU：
ini
# 节点声明：4 张 A100，GRES 命名 gpu 类型 a100
NodeName=gpu01 Gres=gpu:a100:4 CPUs=64 RealMemory=500000 Sockets=2 CoresPerSocket=16 ThreadsPerCore=2
# 默认启用 GRES 插件
GresTypes=gpu
SelectType=select/cons_tres
SelectTypeParameters=CR_Core_Memoryselect/cons_tres：按可消费轨迹资源（core/memory/gres）进行选择，是实现 GPU 按需分配的关键。- 提交作业时用
--gres=gpu:2申请 2 张卡，或用--gres=gpu:a100:2指定类型。
二、MIG / vGPU 与多租户共享
当 GPU 数量紧张、需要多租户共享时（来源：07-heterogeneous 章）：
- MIG（Multi-Instance GPU）：A100/H100 支持将物理 GPU 切分为多个实例（如 7×1g.5gb），
Gres=gpu:mig:...声明后即可按实例粒度调度，适合推理与轻训练混合负载。 - vGPU：虚拟化环境通过 NVIDIA vGPU 分配显存与算力切片。
- 多租户：按 Partition + QOS（如
QOS=interactive、QOS=debug）做配额与抢占管理，避免单一租户打满集群。
三、混合集群分区策略（06-cloud 章）
- 按用途分区分隔：
cpu（纯 CPU 作业）、gpu（训练/推理）、gpu-highprio（SLA 高优先）。 - 分区间用
PartitionName的PriorityTier与QOS控制优先级与抢占关系。 - 异构节点混排时建议用
Feature（如Feature=ib,avx512）约束调度目标，减少作业跑错节点类型。
四、Docker 化训练提交模板（06-cloud 章）
bash
#!/bin/bash
#SBATCH -p gpu
#SBATCH --gres=gpu:8
#SBATCH -N 2
#SBATCH --ntasks-per-node=8
srun --container-image=registry.example.com/train:latest \
--container-mounts=/data:/data \
python train.py --config /data/llm/large-scale.yaml--container-image配合 Slurm 容器插件（如 Pyxis/Enroot），让异构集群共享同一镜像交付物。- 大模型训练建议配合 NCCL 环境变量（
NCCL_SOCKET_IFNAME、NCCL_IB_HCA）与 InfiniBand 网络（03 章）联动。
五、验证与调优
sinfo -o "%n %G %f"查看节点 GRES 与特性；scontrol show node gpu01核对 GPU 可见性。srun --gres=gpu:1 nvidia-smi冒烟验证 GPU 透传。- 异构调度排查重点：GRES 未声明 /
select/cons_tres未启用 / 分区与 QOS 抢占策略配置不当。
说明：以上为通用配置框架，具体
slurm.conf参数需按集群拓扑、调度策略与工作负载实测调整；知识库收录了更细的配置片段与排障案例，可查阅 07-heterogeneous 章 与 06-cloud 章。
延伸提问（试试助手）：Slurm 如何实现 GPU 抢占？MIG 实例怎么规划？Pyxis 容器插件怎么配？→ 直接对话 AI-HPC 智能助手