أطلقت شركة إنتل الإصدار llm-scaler-vllm PV 1.4، وهو إصدار جديد من حاوية Docker المحسّنة لتشغيل vLLM على أجهزة الرسوميات Arc وArc Pro. يجلب هذا التحديث مكونات محدثة، مثل نواة تعتمد على لينكس 6.17، ووقت تشغيل حاسوبي، وحزم oneAPI أحدث. على جانب البرمجيات، تم تضمين vLLM 0.14 وPyTorch 2.10، بهدف تحسين أداء استدلال نماذج اللغة.
المستجدات التقنية في حاوية Docker من إنتل 🚀
توفر نواة لينكس 6.17 الجديدة دعماً محسّناً لمعالجات الرسوميات Arc، بينما يعمل وقت التشغيل الحاسوبي المحدّث على تحسين تنفيذ أعباء عمل الذكاء الاصطناعي. يتيح دمج vLLM 0.14 إدارة أكثر كفاءة للذاكرة والانتباه في النماذج الكبيرة، ويقدم PyTorch 2.10 تحسينات في التجميع الديناميكي ودعم البنى الجديدة. توصي إنتل بهذه الحاوية للمطورين الذين يسعون لنشر استدلال نماذج اللغة الكبيرة على أجهزة رسوميات استهلاكية دون اللجوء إلى حلول مملوكة.
إنتل ورهانها على معالجات الرسوميات المخصصة للألعاب للذكاء الاصطناعي 🔥
لأنه بالطبع، لا شيء يقول إنتاجية جادة مثل استخدام بطاقة رسوميات مصممة للعب Cyberpunk لتشغيل نموذج لغة من 70 مليار معامل. لكن مهلاً، إذا تمكنت من جعل Arc A770 لا يختنق بالذاكرة المشتركة ولم تعطل نواة 6.17 نظامك، فستحصل على محطة استدلال منخفضة التكلفة. لكن تأكد من وجود طفاية حريق قريبة في حال قررت المروحة أخذ قسط من الراحة.