权重只是第一笔显存开销
先固定模型版本和真实权重格式，再计算完整驻留权重。MoE 的每次激活参数量不能代替完整权重体积。推理还需要缓存、模型状态、运行工作区及预填充峰值空间；权重量化与 KV 缓存精度是两个选择。某种量化格式是否可用，仍取决于具体工件、框架和内核。
上下文和并发会一起占用缓存
上下文预算包含输入与输出；同时生成的请求数不等于公司员工总数。对常规完整注意力，缓存通常随已占用上下文和同时请求增加；混合、稀疏或压缩注意力需要专门公式。模型标注的最大上下文只是能力条件，不意味着任意硬件都能在这个长度上承载大量并发。
多卡显存不是一个无条件共享池
张量并行将一个模型分到多卡，多个服务副本则各自保留权重。部分 GQA 模型在并行卡数超过 KV 头数时需要复制缓存，不能一直按卡数均分。应同时看最繁忙单卡预算和整机总量，核对分片规则；还有空闲总显存，也可能存在单卡瓶颈。
采购前用自己的请求做验证
固定 GPU 版本、模型、精度、框架、输入输出长度与并发，记录显存峰值、首字延迟、持续输出速度和错误率。长上下文扩展需按官方运行方案验证。配置页面的容量估算用于排除明显不合适的组合，不能代替同配置实测或交付承诺。
常见问题
点击问题或右侧箭头，展开查看解答。
为什么多张大显存 GPU 仍可能提示容量不足？
需要检查每个副本使用多少卡、缓存是否复制、上下文和并发是否过大，以及单卡预留空间。显存总和不是充分条件。
把权重改为 INT4，所有显存开销都会变成四分之一吗？
不会。缓存和其他运行状态并不自动随权重格式缩小，量化工件还可能包含未量化张量与辅助数据。
资料来源与适用边界
指南不代替具体机型手册、已核验部件清单和正式报价。