选型指南与 Pilot 工作表
GPU Pilot 需求与评分表：实用选型工作表
下载可编辑工作表，用于约定范围、比较配置，并决定停止、调整或扩容。这是评估方法，不是客户案例。
8×B300 节点租赁：如何比较完整报价
预留 B300 节点前，比较配置范围、分配方式、存储、网络与 Pilot 验收条件。附成本计算示例，不作为供应商报价。
推理 GPU 选型：先测试延迟与吞吐，再比较成本
使用模型、精度、上下文、并发和质量目标建立代表性推理测试，再把实测结果与透明的 GPU 预算连接起来。
多节点 AI 集群的 InfiniBand 与 RoCE 对比
比较多节点 AI 集群中的 InfiniBand 与 RoCE，包括 RDMA、拥塞、拓扑、NCCL 验证及 32+ GPU RFQ 要求。
· Arvica Cloud · 分析与采购指南
为什么跨节点后网络至关重要
8 卡 HGX 或 DGX 系统在节点内拥有高带宽扩展域。由四个 8 卡节点组成的 32-GPU 规划模型增加了第二层通信：服务器间扩展网络。分布式训练集合通信、专家路由与检查点流量都会暴露这一层，因此若不知道节点边界与网络路径，仅看 GPU 数量无法判断集群效率。
InfiniBand 的实际含义
InfiniBand 是广泛用于 HPC 与 AI 的 RDMA 网络。NVIDIA 当前参考资料除链路速率外，还描述了 Quantum InfiniBand 的自适应路由、网络内集合加速与网络自愈等特性。其优势是面向延迟敏感跨节点通信的集成运维模式，但仍需明确代际、拓扑、交换机配置与适配器放置；“InfiniBand”一词本身不是验收结果。
RoCE 的实际含义
RoCE 在以太网上承载 RDMA 语义。生产级 AI RoCE 网络不能只靠在普通交换机上启用协议来定义。NVIDIA Spectrum-X 将以太网交换机与 SuperNIC 结合，并提供面向大规模同步 AI 流量的自适应路由、遥测与拥塞控制机制。当组织拥有成熟以太网运维、工具与数据中心标准，且完整设计经工作负载验证时，该路径可能更合适。
带宽不是完整答案
两种标称端口速率相同的网络，在同步多对多流量下可能表现不同。应审查超卖比、多平面设计、路径多样性、交换机缓存、拥塞控制、自适应路由、丢包、MTU、故障域与流量隔离，并在适用时分离计算、存储、管理与用户流量。有效集合通信性能与迭代稳定性比图纸上端口速率相加更重要。
GPU 到网卡拓扑与 RDMA
NCCL 会发现 GPU 与网络拓扑并据此选择通信路径。PCIe 根复合体、NUMA 放置、网卡数量与平面映射会影响 GPU 高效访问适配器的方式。GPUDirect RDMA 可在受支持设计中减少不必要的主机中转，但仍依赖操作系统、驱动、固件、IOMMU 与已验证硬件路径。应索取拓扑图及验收使用的软件版本。
应该测试什么
使用 NCCL tests 或等效受控集合测试，在目标节点上测试 all-reduce、all-gather、reduce-scatter 及工作负载相关模式。记录消息大小、rank、进程放置、拓扑、软件版本与重复运行差异，再运行真实训练或推理任务。合成集合测试可揭示网络问题，但不能单独预测应用完成时间或模型质量。
何时一个 8 卡节点可避免跨节点问题
如果模型与吞吐目标可在一个完整 8 卡节点内满足，将通信保持在 NVLink/NVSwitch 域内可简化网络、调度与故障处理。外部网络仍承载数据、存储与用户流量，但不承担节点间集合通信。应先验证单节点是否达到有效目标，也不能假设单节点结果可预测四节点扩展。
32+ GPU RFQ 应说明什么
RFQ 应列明节点数与 GPU 平台、目标工作负载、并行策略、预期集合通信模式、网络类型与代际、每节点网卡数、链路速率、平面与交换拓扑、超卖比、存储路径、管理隔离、验收测试与扩展目标，并说明 InfiniBand、RoCE 或两者是否均可接受。供应商应以实际拓扑与可部署地点回应，而非只给协议标签。
常见问题
InfiniBand 一定比 RoCE 更快吗？
没有通用答案。代际、拓扑、拥塞控制、适配器放置、软件与工作负载共同决定有效性能。
单个 8 卡节点需要跨节点网络吗？
节点内 8 张 GPU 通过 NVLink/NVSwitch 域通信时不需要，但存储、用户、管理与数据传输仍需要外部网络。
相关容量与规划页面
资料来源
资料查阅日期：2026-10-04
把分析用于你的工作负载
客户接受报价前不收费，基础设施供应商会在开通前披露。