Компания Meta представила Glimmer — модель искусственного интеллекта с 30 миллиардами параметров, которая полностью работает на вашем персональном компьютере, не завися от внешних серверов. Её открытые веса под лицензией Apache 2.0 позволяют любому скачать и запустить её на своём устройстве. Обещание ясно: больше конфиденциальности и полный контроль над вашими данными. Однако есть одно немаловажное требование: вам понадобится как минимум 24 ГБ видеопамяти для её плавной работы.
Технические требования и доступность: цена независимости 🖥️
Glimmer — это не игрушка для любого ноутбука. Ей требуется видеокарта с 24 ГБ видеопамяти, что есть только у оборудования высокого класса или рабочих станций. Это означает, что большинство пользователей с обычным ПК не смогут её опробовать. Технически модель использует квантование и оптимизации для снижения потребления памяти, но физический предел остаётся. Если у вас есть RTX 4090 или A5000, вы сможете испытать генеративный ИИ, которому не нужно подключение, с приемлемым временем отклика и полной изоляцией от облака.
Glimmer — ИИ, который заставляет смотреть на свой кошелёк, прежде чем думать о конфиденциальности 💸
Так что теперь вы знаете: чтобы похвастаться локальным и приватным ИИ, сначала придётся продать почку или выиграть в лотерею. А пока мы, простые смертные, продолжим пользоваться облаком и молиться, чтобы Meta не читала наши чаты. Glimmer отлично подходит тем, у кого есть видеокарта, стоящая дороже подержанного автомобиля. Для остальных конфиденциальность останется роскошью, за которую платят подписками или данными. Впрочем, если у вас есть подходящее железо, вы сможете оскорблять ИИ, и никто вас не услышит. Вам повезло.