Dell ha lanzado el PowerEdge XE9680, un servidor diseñado para el trabajo pesado con inteligencia artificial. Su razón de ser es albergar hasta ocho GPUs de alto rendimiento, como la popular NVIDIA H100, conectadas entre sí para acelerar el entrenamiento de modelos de lenguaje de gran escala. No es un equipo para juegos ni para la oficina de al lado.
La arquitectura que mueve los pesos del modelo 🚀
El secreto del XE9680 está en su diseño de refrigeración y el bus de interconexión. Las ocho GPUs se comunican mediante NVLink, eliminando cuellos de botella en la transferencia de datos. Cada GPU H100 dispone de 80 GB de memoria HBM3, sumando un total de 640 GB para manejar conjuntos de datos masivos. El chasis está optimizado para disipar el calor generado por más de 3000W de consumo, algo que en una oficina normal haría saltar los plomos.
Cuando tu factura de luz vale más que tu coche 💡
Tener ocho H100 funcionando 24/7 no es un capricho, es una declaración de intenciones. Si tu jefe se queja del gasto en café, no le enseñes la factura eléctrica de este bicho. Eso sí, cuando el modelo termine de entrenar tras tres semanas, podrás disimular el sudor y decir que fue cosa de la GPU, no de la presión de la competencia.