戴尔推出了PowerEdge XE9680，这是一款专为高强度人工智能工作设计的服务器。其核心用途是容纳多达八块高性能GPU，例如广受欢迎的NVIDIA H100，它们相互连接以加速大规模语言模型的训练。这不是一台用于游戏或隔壁办公室的设备。
驱动模型权重的架构 🚀
XE9680的秘诀在于其散热设计和互连总线。八块GPU通过NVLink通信，消除了数据传输中的瓶颈。每块H100 GPU配备80 GB HBM3内存，总计640 GB，用于处理海量数据集。机箱经过优化，可散发超过3000W功耗产生的热量，这在普通办公室中会导致跳闸。
当你的电费账单比你的车还贵时 💡
让八块H100全天候运行并非一时兴起，而是意图的明确宣示。如果你的老板抱怨咖啡开销，别让他看到这台机器的电费账单。当然，当模型在三周后完成训练时，你可以掩饰住汗水，说这全靠GPU，而不是竞争压力所致。