选型指南与 Pilot 工作表
GPU Pilot 需求与评分表：实用选型工作表
下载可编辑工作表，用于约定范围、比较配置，并决定停止、调整或扩容。这是评估方法，不是客户案例。
8×B300 节点租赁：如何比较完整报价
预留 B300 节点前，比较配置范围、分配方式、存储、网络与 Pilot 验收条件。附成本计算示例，不作为供应商报价。
推理 GPU 选型：先测试延迟与吞吐，再比较成本
使用模型、精度、上下文、并发和质量目标建立代表性推理测试，再把实测结果与透明的 GPU 预算连接起来。
用于 LLM 训练的 B300 与 B200 对比
比较 NVIDIA B300 与 B200 在 LLM 训练、微调和推理中的显存、NVLink、精度、软件就绪度与集群设计。
· Arvica Cloud · 分析与采购指南
关键差异一览
| 决策因素 | HGX B200 参考 | HGX B300 参考 | 采购含义 |
|---|---|---|---|
| HBM3e 容量 | NVIDIA 企业参考架构为每卡 180 GB；8 卡共 1.44 TB | 每卡 288 GB HBM3e；8 × B300；最终系统配置以方案确认为准 | 在方案中确认具体 GPU SKU 与可用显存 |
| HBM 带宽 | 企业参考架构为每卡最高 8 TB/s | 企业参考架构为每卡最高 8 TB/s | B300 更清晰的差异通常是容量，而非标称 HBM 带宽 |
| 节点内互联 | 第五代 NVLink；GPU 间 1.8 TB/s，8 卡交换总带宽 14.4 TB/s | 第五代 NVLink；GPU 间 1.8 TB/s，8 卡交换总带宽 14.4 TB/s | 节点间网络仍需单独设计 |
| 精度与软件 | Blackwell FP8/FP6/FP4 能力；需验证框架与内核支持 | Blackwell Ultra 增加面向注意力的能力；需验证具体软件路径 | 支持某种精度不等于工作负载一定更快 |
| 部署形式 | HGX 合作伙伴系统与 DGX B200 有各自完整系统规格 | HGX 合作伙伴系统与 DGX B300 有各自完整系统规格 | 不要把 DGX 的 CPU、存储、电力或网卡规格套用于 OEM HGX 服务器 |
先确定显存上限
当模型、优化器状态、激活值或推理 KV 缓存无法舒适地放入 B200 显存范围时，B300 才会形成实质差异。更多 HBM 可减少张量并行、主机内存卸载或缓存淘汰，但仍需实测。NVIDIA 发布了多种 HGX B300 容量参考，因此采购记录应明确具体 SKU、每卡可用显存与 8 卡总量。
何时更适合 B300
当实测显示显存容量是主要瓶颈时，应优先评估 B300，例如大 KV 缓存的长上下文服务、高并发推理、显存密集的 MoE 路由、大批量或中间状态较多的多模态流程。额外余量可能减少分片或保留更多设备端缓存，但这些都是需要在目标软件栈验证的设计假设。
何时更适合 B200
当完整模型与运行时可放入报价所列显存版本、应用已在 B200 上高效运行，或可部署的 B200 系统拥有更合适的已确认容量窗口时，B200 仍是当前高端 Blackwell 选择。为未使用的显存付费不会缩短完成时间。应比较完整方案，而不是仅按代际决定。
训练工作负载的考虑
训练与微调应记录参数量、精度、优化器、序列长度、全局与微批量、激活检查点、并行策略及检查点频率。显存余量可能改变分片方案，但通信与输入流水线仍可能主导性能。单个 8 卡 HGX 节点内两者均使用第五代 NVLink 与 NVSwitch；跨节点后，网络拓扑、NCCL 集合通信、存储吞吐与故障恢复都成为训练系统的一部分。
推理与 KV 缓存
推理容量规划需要真实的模型格式、上下文分布、并发序列、批处理策略与延迟目标。KV 缓存需求取决于具体工作负载；更大显存可能支持更高并发或更长上下文，但调度器、量化质量与推理引擎支持决定这些容量能否发挥作用。应使用代表性提示同时测量首 token 延迟、token 间延迟、吞吐与显存余量。
软件兼容与部署就绪度
应针对具体平台确认 CUDA、驱动、框架、通信库、注意力内核、量化路径与容器镜像。只有应用使用受支持路径且精度损失可接受时，Blackwell 精度能力才有价值。应保留可复现镜像与验收命令。路线图或支持列表不等于已验证的生产镜像，HGX 基板规格也不能代表 OEM 服务器的 CPU、存储、网卡或电力设计。
澳大利亚与亚太容量考虑
所选完整系统的地点、容量与部署时间必须逐项确认。澳大利亚或亚太需求应说明计算、存储与备份所在地、支持访问要求、开始窗口，以及是否接受替代地区。Arvica 可围绕这些条件规划 B200 或 B300 基础设施，但本文不确认任何配置在特定城市的容量。
预留容量前如何选择
使用代表性任务确认显存适配、有效吞吐、扩展效率与运维就绪度。要求每份方案列明 GPU SKU、节点平台、可用显存、拓扑、网络、存储、租户模式、地点、期限与验收流程。只有实测工作负载和完整商务边界可比后再预留；正确答案可能是 B300、B200，或先用更小 Pilot 消除不确定性。
常见问题
B300 一定比 B200 更快吗？
不一定。上述平台参考中 B300 提供更多显存并增加 Blackwell Ultra 能力，但应用性能取决于模型形态、精度、内核、通信、存储与软件就绪度。
为什么官方 B300 显存数字不同？
NVIDIA 记录了不同 Blackwell Ultra 与 HGX B300 SKU 场景。方案必须明确具体 GPU 与可用显存，不能混合不同平台数字。
相关容量与规划页面
资料来源
资料查阅日期：2026-10-04
把分析用于你的工作负载
客户接受报价前不收费，基础设施供应商会在开通前披露。