Компания Intel выпустила llm-scaler-vllm PV 1.4 — новую версию своего Docker-контейнера, оптимизированного для запуска vLLM на графическом оборудовании Arc и Arc Pro. Это обновление включает обновленные компоненты, такие как ядро на базе Linux 6.17, Compute Runtime и более новые пакеты oneAPI. Со стороны программного обеспечения добавлены vLLM 0.14 и PyTorch 2.10, что направлено на повышение производительности при инференсе языковых моделей.
Технические новинки в Docker-контейнере Intel 🚀
Новое ядро Linux 6.17 обеспечивает лучшую поддержку GPU Arc, в то время как обновленный Compute Runtime оптимизирует выполнение рабочих нагрузок ИИ. Интеграция vLLM 0.14 позволяет более эффективно управлять памятью и вниманием в больших моделях, а PyTorch 2.10 вводит улучшения в динамическую компиляцию и поддержку новых архитектур. Intel рекомендует этот контейнер разработчикам, стремящимся развернуть инференс LLM на потребительском графическом оборудовании, не прибегая к проприетарным решениям.
Intel и её ставка на игровые GPU для ИИ 🔥
Потому что, конечно же, ничто так не говорит о серьёзной продуктивности, как использование видеокарты, предназначенной для игры в Cyberpunk, для запуска языковой модели с 70 миллиардами параметров. Но, эй, если вам удастся, чтобы ваш Arc A770 не захлебнулся от общей памяти, а ядро 6.17 не положило систему, у вас будет недорогая станция для инференса. Правда, убедитесь, что у вас под рукой есть огнетушитель на случай, если вентилятор решит устроить перерыв.