Intel Gaudi drei: die effiziente Alternative zum Trainieren von LLMs

Intel stellt Gaudi 3 vor, einen KI-Beschleuniger, der mit herkömmlichen GPUs beim Training großer Sprachmodelle konkurriert. Sein Design zielt auf ein Gleichgewicht zwischen Leistung und Energieverbrauch ab und bietet eine praktikable Option für Rechenzentren, die Betriebskosten senken möchten, ohne Rechenleistung zu opfern.

photorealistic engineering visualization of Intel Gaudi 3 AI accelerator chip inside a data center server rack, cooling fans spinning rapidly while blue fiber optic cables transmit data streams, multiple LLM training processes running simultaneously on a motherboard, glowing circuits and heat sinks dissipating energy, GPU-like die layout with hexagonal compute clusters, dramatic industrial lighting with cool blue and warm orange contrast, ultra-detailed metallic surfaces, dust particles suspended in air, cinematic depth of field, technical illustration style

Architektur mit HBM-Speicher und integrierten Netzwerken 🚀

Gaudi 3 integriert 128 GB HBM2e-Speicher und 24 spezifische Tensor-Verarbeitungskerne. Sein internes Verbindungsnetzwerk ermöglicht die Skalierung auf Tausende von Einheiten ohne die typischen PCIe-Engpässe. Intel gibt an, dass es direkte Konkurrenten bei Inferenz- und Fine-Tuning-Aufgaben übertrifft, mit einem Verbrauch von etwa 600W pro Einheit unter Volllast.

Gaudi 3: Der, der keinen Schreibtischventilator braucht 😅

Während rivalisierende GPUs wie als Hardware getarnte Heizgeräte wirken, verspricht Intel, dass Gaudi 3 kühler läuft. Klar, wenn dein Serverraum wie eine finnische Sauna aussieht, ist dir das vielleicht egal. Aber zumindest können die Ingenieure ihre Mäntel ausziehen, während sie die Sprachmodelle debuggen. Allerdings solltest du nicht erwarten, dass er dir einen Kaffee macht.