Dell ha lanciato il PowerEdge XE9680, un server progettato per il lavoro pesante con l'intelligenza artificiale. La sua ragion d'essere è ospitare fino a otto GPU ad alte prestazioni, come la popolare NVIDIA H100, interconnesse per accelerare l'addestramento di modelli linguistici su larga scala. Non è un computer per giochi né per l'ufficio accanto.
L'architettura che muove i pesi del modello 🚀
Il segreto dello XE9680 sta nel suo design di raffreddamento e nel bus di interconnessione. Le otto GPU comunicano tramite NVLink, eliminando i colli di bottiglia nel trasferimento dei dati. Ogni GPU H100 dispone di 80 GB di memoria HBM3, per un totale di 640 GB per gestire set di dati massicci. Il telaio è ottimizzato per dissipare il calore generato da oltre 3000W di consumo, cosa che in un ufficio normale farebbe saltare i fusibili.
Quando la tua bolletta della luce vale più della tua auto 💡
Avere otto H100 in funzione 24/7 non è un capriccio, è una dichiarazione d'intenti. Se il tuo capo si lamenta della spesa per il caffè, non mostrargli la bolletta elettrica di questa bestia. Certo, quando il modello finirà di addestrarsi dopo tre settimane, potrai nascondere il sudore e dire che è stato merito della GPU, non della pressione della concorrenza.