इंटेल ने llm-scaler-vllm PV 1.4 लॉन्च किया है, जो अपने Docker कंटेनर का एक नया संस्करण है जो Arc और Arc Pro ग्राफिक्स हार्डवेयर पर vLLM चलाने के लिए अनुकूलित है। यह अपडेट Linux 6.17-आधारित कर्नेल, कंप्यूट रनटाइम और नवीनतम oneAPI पैकेज जैसे अपडेटेड घटक लाता है। सॉफ्टवेयर पक्ष पर, vLLM 0.14 और PyTorch 2.10 शामिल किए गए हैं, जिनका उद्देश्य भाषा मॉडल अनुमान में प्रदर्शन में सुधार करना है।
इंटेल के Docker कंटेनर में तकनीकी नवाचार 🚀
नया Linux 6.17 कर्नेल Arc GPU के लिए बेहतर समर्थन प्रदान करता है, जबकि अपडेटेड कंप्यूट रनटाइम AI कार्यभार के निष्पादन को अनुकूलित करता है। vLLM 0.14 का एकीकरण बड़े मॉडलों में मेमोरी और अटेंशन के अधिक कुशल प्रबंधन की अनुमति देता है, और PyTorch 2.10 गतिशील संकलन और नई आर्किटेक्चर के लिए समर्थन में सुधार लाता है। इंटेल इस कंटेनर को उन डेवलपर्स के लिए अनुशंसित करता है जो मालिकाना समाधानों का सहारा लिए बिना उपभोक्ता ग्राफिक्स हार्डवेयर पर LLM अनुमान तैनात करना चाहते हैं।
इंटेल और AI के लिए खिलौना GPU पर इसका दांव 🔥
क्योंकि बिल्कुल, गंभीर उत्पादकता का मतलब है साइबरपंक खेलने के लिए डिज़ाइन किए गए ग्राफिक्स कार्ड का उपयोग करके 70 बिलियन पैरामीटर वाले भाषा मॉडल को चलाना। लेकिन अरे, अगर आप अपने Arc A770 को साझा मेमोरी में डूबने से बचा लेते हैं और कर्नेल 6.17 आपके सिस्टम को नहीं तोड़ता है, तो आपके पास एक कम लागत वाला अनुमान स्टेशन होगा। हाँ, बस यह सुनिश्चित करें कि पास में एक अग्निशामक यंत्र हो, अगर पंखा आराम करने का फैसला करता है।