デル XE9680：八基GPU搭載の怪物、LLMを手懐ける

デルは、AIによるヘビーデューティーな処理向けに設計されたサーバー、PowerEdge XE9680を発表しました。その存在意義は、最大8基の高性能GPU（人気のNVIDIA H100など）を搭載し、それらを相互接続して大規模言語モデルのトレーニングを高速化することにあります。これはゲーム用でも、隣のオフィス用でもありません。

Dell PowerEdge XE9680 サーバーシャーシ内部で8基のNVIDIA H100 GPUが活発にデータ処理を行っている様子。GPU相互接続ケーブルがデータ転送の光パルスで輝き、冷却ファンが高速回転し、ヒートシンクが熱エネルギーを放散。サーバーラック取り付けレールが見え、青色LEDステータスインジケーターが点滅。映画のようなエンジニアリングビジュアライゼーション、フォトリアリスティックなテクニカルイラスト、劇的なローアングルショット。精密なケーブル管理が施されたメタリックなサーバー内部。内部照明に照らされた塵埃粒子。超詳細な電子部品。産業用サーバールームの雰囲気。

モデルの重みを動かすアーキテクチャ 🚀

XE9680の秘密は、その冷却設計と相互接続バスにあります。8基のGPUはNVLinkを介して通信し、データ転送におけるボトルネックを排除します。各H100 GPUは80GBのHBM3メモリを搭載し、合計640GBで大規模なデータセットを処理します。シャーシは、消費電力3000W以上から発生する熱を放散するように最適化されており、通常のオフィスではブレーカーが落ちるレベルです。

電気代があなたの車より高くなるとき 💡

8基のH100を24時間365日稼働させるのは、気まぐれではなく、明確な意思表明です。上司がコーヒー代の出費を嘆いているなら、このマシンの電気代の請求書は見せない方がいいでしょう。とはいえ、3週間かけてモデルのトレーニングが終わったら、冷や汗を隠して「それはGPUのおかげだ、競合他社のプレッシャーのせいじゃない」と言えるでしょう。