A Dell lançou o PowerEdge XE9680, um servidor projetado para trabalho pesado com inteligência artificial. Sua razão de ser é abrigar até oito GPUs de alto desempenho, como a popular NVIDIA H100, conectadas entre si para acelerar o treinamento de modelos de linguagem de grande escala. Não é um equipamento para jogos nem para o escritório ao lado.
A arquitetura que move os pesos do modelo 🚀
O segredo do XE9680 está em seu design de refrigeração e no barramento de interconexão. As oito GPUs se comunicam via NVLink, eliminando gargalos na transferência de dados. Cada GPU H100 possui 80 GB de memória HBM3, totalizando 640 GB para lidar com conjuntos de dados massivos. O chassi é otimizado para dissipar o calor gerado por mais de 3000W de consumo, algo que em um escritório normal faria os disjuntores desarmarem.
Quando sua conta de luz vale mais que seu carro 💡
Ter oito H100 funcionando 24/7 não é um capricho, é uma declaração de intenções. Se seu chefe reclamar do gasto com café, não mostre a ele a conta de luz dessa fera. Claro, quando o modelo terminar de treinar após três semanas, você poderá disfarçar o suor e dizer que foi coisa da GPU, não da pressão da concorrência.