Новая версия Vulkan 1.4.356 включает расширение, которое внедряет форматы данных Open Compute Project, такие как MXFP4 и MXFP8. Эти форматы снижают использование памяти и повышают скорость выполнения задач машинного обучения. Для пользователя это означает, что устройства с графикой Vulkan могут запускать приложения ИИ с меньшими затратами ресурсов и большей скоростью, демократизируя доступ к этой технологии на обычном оборудовании.
Форматы MXFP: меньше битов, больше производительности GPU 🚀
Форматы MXFP4 и MXFP8, разработанные Open Compute Project, оптимизируют хранение числовых данных в нейронных сетях. Используя 4 или 8 бит вместо типичных 32 бит, они уменьшают требуемую пропускную способность и память. Vulkan 1.4.356 предоставляет эту возможность напрямую разработчикам, позволяя алгоритмам ИИ работать более эффективно на потребительских GPU без необходимости в специализированном оборудовании. Это ключевой момент для локальных приложений искусственного интеллекта.
Твой игровой GPU теперь тоже думает, но не жди чудес 😅
Так что да, твоя видеокарта, та самая, на которой ты играешь в Fortnite, теперь сможет выполнять вычисления ИИ с меньшим использованием памяти. Но не обольщайся: ты не запустишь ChatGPT на RTX 3060 за одну ночь. Что ты заметишь, так это то, что локальные приложения ИИ, такие как редакторы фотографий или ассистенты, будут работать быстрее. Однако твой GPU всё равно будет жаловаться, когда ты попросишь его одновременно рендерить и заниматься машинным обучением. Ирония прогресса.