跳转到正文
GPU服务器采购

8卡GPU服务器怎么选:从显卡形态、互联到部署验收

采购8卡机,不能只比较显卡数量和显存合计。先写清业务负载,再核对GPU完整型号、PCIe或SXM形态、直通或Switch拓扑、并行部署方式以及供电散热条件。本指南给出可带到询价和验收环节的检查清单,并关联H3C R5300 G6与联想WA5480 G3的具体产品资料。

内容更新 汇智佳创内容团队6 个阅读章节
查看本页目录

先把“8卡机”写成一份明确的采购需求

建议在询价前准备同一份需求表:用于推理、微调、训练还是渲染;应用或模型的完整名称和版本;权重精度;输入与输出长度;同时请求数量;可接受的响应时间;数据规模;采购数量与交付地点。 这些是本指南建议的采购记录项,不是某个机型已经通过验证的能力。若尚未确定工作负载,可先提供典型业务样例,由顾问与技术人员逐项确认,不宜直接承诺某款8卡服务器能跑所有大模型。

确认GPU的完整型号和物理形态

不要把同一系列的不同形态当成同一张卡。例如NVIDIA官方规格分别列出H100 SXM与采用PCIe形态的H100 NVL,电力与互联规格也不同。本文引用这一例子只是说明需要区分型号和形态,并不表示本站任何服务器都兼容这两类产品。 建议在配置清单中写明GPU完整料号、单卡显存、数量、占槽宽度及对应的服务器模块;再核对原厂支持清单、供电线缆与散热要求。机箱有8个位置,不等于任意8张GPU均可安装。

直通、PCIe Switch和NVLink要分别核对

H3C R5300 G6原厂产品表区分8卡Switch、4卡直通、8卡直通和16卡Switch计算模块。选型时应记录实际模块和插槽分配,不能把不同列的最大值拼成一套配置。 PCIe Switch拓扑与GPU是否支持NVLink是不同核对项。建议要求配置方提供CPU、GPU、网卡之间的连接说明;对需要多卡协作的业务,按目标软件与模型验证通信和性能,而不是仅凭“8卡”或“Switch”字样判断。

显存合计不等于单个请求可直接使用的显存

多GPU部署需要软件明确安排工作。vLLM官方文档区分张量并行和流水线并行,并说明启动日志中的KV缓存容量与给定请求长度下的并发估计可用于检查资源。 建议记录实际并行配置,并把权重、KV缓存及运行时占用分开检查。以真实的输入输出长度、并发和目标精度试运行,保留每张卡的占用和运行日志。不能只用总显存判断能否部署,也不能把多卡系统一概按单卡容量判断。这里不提供未经实测的吞吐或并发承诺。

把机房和冗余条件写进报价

建议现场核对机柜可用深度、导轨、后部线缆空间、进出风方向、供电回路、PDU、插头及可用制冷能力。要求配置方分别说明整机功率评估、冗余策略和交付时的实际电源组合。 R5300 G6原厂页面说明,不同电源输出功率对应的推荐冗余策略可能不同,需要查具体技术白皮书或向原厂技术支持确认。因此“安装4个电源”不应被自动解释成任何负载下都能按同一种方式冗余。以上现场核对项属于采购建议,具体安全与电力条件应由有资质的人员确认。

以具体机型资料和完整BOM完成验收

下面的相关产品入口可继续查看H3C R5300 G6和联想WA5480 G3的参数、对应FAQ与资料。两者是具体产品入口,不是无条件兼容的配置推荐;不要把一款机器的CPU、盘位、GPU或电源选件移植成另一款的承诺。 建议验收记录至少包括:完整部件清单和序列号、实际GPU数量与识别结果、固件与驱动版本、选定的并行方案、目标业务测试条件、测试日志、异常处理和售后责任范围。技术资料发生版本变化时重新核对,价格、库存、交期与服务最终以书面报价及合同为准。

常见问题

点击问题或右侧箭头,展开查看解答。

8卡GPU服务器是不是一定有NVLink?

不能由GPU数量推出。应分别核对GPU完整型号、互联部件和服务器拓扑;PCIe Switch配置本身不能代替NVLink支持证据。

为什么装满8张卡,还要检查每张卡的显存?

软件如何拆分权重和缓存会影响每张卡的占用。需要结合实际并行方式、请求长度、并发和运行日志判断,不能仅凭显存合计保证可部署。

先买少量GPU,以后补满8张可以吗?

应在购买前把扩容目标写进BOM核验范围,逐项确认模块、插槽、供电、线缆、散热和固件。不要只因为产品名称含“8卡”就认定当前配置已具备完整扩容条件。

询价时最少需要提供什么?

建议提供业务或模型版本、目标精度、输入输出长度、并发目标、GPU意向、数据规模、采购数量及机房供电散热条件。尚未确定的项目标为待确认,不用猜测值代替。

资料来源与适用边界

指南不代替具体机型手册、已核验部件清单和正式报价。

把业务需求,变成清晰的配置方案

请提供机型、业务负载、采购数量和交付要求,由顾问逐项核对。

联系方案顾问