推理 GPU 选型：先测试延迟与吞吐，再比较成本

显存适配是第一关

记录模型版本和推理框架，再按目标精度估算权重；还需为 KV Cache 与运行开销预留空间，参数量不能直接等同于所需 GPU 显存。将成本估算用于采购前，应在实际配置上验证目标输入与输出长度。

采用有代表性的请求流量

准备经过许可的测试集，覆盖长短输入、预计输出长度和实际请求组合。分别记录请求到达速率与同时处理的请求数，两者不是同一个量。分阶段增加负载，记录完成请求、失败和排队情况，不同配置采用相同质量检查。

定义延迟测量口径

在与实际用户相关的客户端位置测量首 Token 时间、流式输出间隔和完整响应时间。vLLM 区分首 Token 时间、Token 间延迟及每输出 Token 时间，不同工具可能采用不同聚合方式。记录测量位置，并用相同方法比较各配置。[1]

控制缓存与预热条件

记录测试是冷启动还是预热后运行，以及是否有意启用前缀缓存。vLLM 提醒重复提示词可能复用前缀缓存并使吞吐偏高。应在明确的缓存条件下比较，保存随机种子或测试集版本并披露缓存复用，不能把预热后的重复提示词测试当成未知生产流量。[1]

比较满足要求的服务成本

先筛选在目标负载下满足质量、错误率和尾部延迟要求的配置。根据实际计费时间及完整费用计算成本，再除以合格请求量或明确口径的 Token 量。不能把仅输出 Token 与输入输出合计的分母直接比较。网站计算器用于规划，不能证明所选配置能够承载假设流量。

规划示例，不是性能实测

假设某配置报价为每计费小时 R，运行 100 小时，GPU 费用为 100R；若完成 200,000 个满足约定条件的请求，则每 1,000 个合格请求的 GPU 成本为 100R ÷ 200 = 0.5R，其他费用另计。请代入实时价格或方案中的费率。如果请求未达到目标，即使单位成本低，也不能算通过验收。

资料来源

资料查阅日期：2026-09-13

1. vLLM benchmark CLI and latency definitions ↗