英特尔推出Gaudi 3，这是一款AI加速器，在大型语言模型训练领域与传统GPU展开竞争。其设计旨在平衡性能与能耗，为寻求降低运营成本而不牺牲计算能力的数据中心提供可行选择。
配备HBM内存与集成网络的架构 🚀
Gaudi 3集成了128GB HBM2e内存和24个专用张量处理核心。其内部互连网络支持扩展至数千个单元，避免了PCIe常见的瓶颈问题。英特尔声称，在推理和微调任务中，它超越了直接竞争对手，满载时每单元功耗约为600W。
Gaudi 3：无需台式风扇的那一款 😅
当竞争对手的GPU看起来像是伪装成硬件的取暖器时，英特尔承诺Gaudi 3运行温度更低。当然，如果你的服务器机房像芬兰桑拿房，那可能也无所谓。但至少工程师们在调试语言模型时可以脱下外套了。不过，别指望它能给你泡杯咖啡。