Компания Intel представляет Gaudi 3 — ускоритель ИИ, который конкурирует с традиционными GPU в обучении больших языковых моделей. Его конструкция направлена на достижение баланса между производительностью и энергопотреблением, предлагая жизнеспособный вариант для центров обработки данных, стремящихся снизить эксплуатационные расходы без ущерба для вычислительной мощности.
Архитектура с памятью HBM и встроенными сетями 🚀
Gaudi 3 включает 128 ГБ памяти HBM2e и 24 специализированных тензорных процессорных ядра. Его внутренняя сеть взаимосвязей позволяет масштабироваться до тысяч устройств без типичных узких мест PCIe. Intel утверждает, что он превосходит прямых конкурентов в задачах вывода и тонкой настройки, потребляя около 600 Вт на устройство при максимальной нагрузке.
Gaudi 3: тот, кому не нужен настольный вентилятор 😅
В то время как конкурирующие GPU выглядят как обогреватели, замаскированные под оборудование, Intel обещает, что Gaudi 3 работает прохладнее. Конечно, если ваша серверная напоминает финскую сауну, вам, возможно, все равно. Но, по крайней мере, инженеры смогут снять пальто, отлаживая языковые модели. Правда, не ждите, что он приготовит вам кофе.