Эволюция памяти HBM не останавливается, и SK Hynix представила свою HBM3e, способную передавать 1,18 ТБ/с на стек. Этот компонент отвечает за подачу данных в новые графические процессоры NVIDIA Blackwell — поток информации, позволяющий этим картам обрабатывать массивные рабочие нагрузки без задержек. Ключевой элемент в экосистеме искусственного интеллекта. 🚀
Шина данных, устраняющая узкое место ⚡
Ключ к этой памяти — её плотность и пропускная способность. С 24 ГБ на стек и эффективной скоростью 9,2 Гбит/с на контакт HBM3e достигает пропускной способности 1,18 ТБ/с. Для этого SK Hynix усовершенствовала производственный процесс с использованием технологии 1b нм и передовой упаковки TSV, снижающей задержки. На практике это позволяет Blackwell обрабатывать гигантские языковые модели, не дожидаясь поступления данных из VRAM.
Когда узкое место садится на диету 😅
С такой пропускной способностью узкое место в обучении ИИ, похоже, село на диету. Теперь настоящая проблема не в том, успеют ли данные вовремя, а в том, выдержит ли ваш кошелек цену GPU Blackwell, оснащенного этими стеками. Да, память летает, но ваш банковский счет, вероятно, совершит жесткую посадку. По крайней мере, вентилятору не придется так усердно работать.