Intel Gaudi 3: la alternativa eficiente para entrenar LLMs

Intel presenta Gaudi 3, un acelerador de IA que compite con las GPU tradicionales en el entrenamiento de grandes modelos de lenguaje. Su diseño busca un equilibrio entre rendimiento y consumo energético, ofreciendo una opción viable para centros de datos que buscan reducir costes operativos sin sacrificar capacidad de cómputo.

photorealistic engineering visualization of Intel Gaudi 3 AI accelerator chip inside a data center server rack, cooling fans spinning rapidly while blue fiber optic cables transmit data streams, multiple LLM training processes running simultaneously on a motherboard, glowing circuits and heat sinks dissipating energy, GPU-like die layout with hexagonal compute clusters, dramatic industrial lighting with cool blue and warm orange contrast, ultra-detailed metallic surfaces, dust particles suspended in air, cinematic depth of field, technical illustration style

Arquitectura con memoria HBM y redes integradas 🚀

Gaudi 3 integra 128 GB de memoria HBM2e y 24 núcleos de procesamiento tensor específicos. Su red de interconexión interna permite escalar a miles de unidades sin los cuellos de botella típicos de PCIe. Intel afirma que supera a competidores directos en tareas de inferencia y fine-tuning, con un consumo que ronda los 600W por unidad bajo carga máxima.

Gaudi 3: el que no necesita ventilador de escritorio 😅

Mientras las GPU rivales parecen calefactores disfrazados de hardware, Intel promete que Gaudi 3 funciona más fresco. Claro, si tu sala de servidores parece una sauna finlandesa, igual te da igual. Pero al menos los ingenieros podrán quitarse el abrigo mientras depuran los modelos de lenguaje. Eso sí, no esperes que te prepare un café.