गूगल ने लाइटआरटी पेश किया, डिवाइस पर एआई इन्फरेंस का नया फ्रेमवर्क

गूगल ने LiteRT की घोषणा की है, जो एक सार्वभौमिक इन्फरेंस फ्रेमवर्क है जो TensorFlow Lite की वर्तमान मॉडलों के साथ सीमाओं को पार करने के लिए डिज़ाइन किया गया है। इसका उद्देश्य डिवाइस पर AI निष्पादन को मानकीकृत करना है, गति और ऊर्जा दक्षता को प्राथमिकता देते हुए। LiteRT एक एकीकृत कार्यप्रवाह का वादा करता है जो स्वचालित रूप से NPU जैसे विशेष हार्डवेयर का लाभ उठाता है, .tflite प्रारूप के साथ संगतता बनाए रखते हुए और PyTorch तथा JAX के लिए सीधा समर्थन प्रदान करता है।

तकनीकी स्तंभ और विस्तारित मल्टीप्लेटफॉर्म समर्थन 🤖

LiteRT चार स्तंभों पर आधारित है: अधिक इन्फरेंस गति, एकीकृत त्वरण प्रवाह, खुले जनरेटिव मॉडलों के लिए मजबूत समर्थन और लोकप्रिय फ्रेमवर्क्स के साथ एकीकरण। यह iOS, macOS, Windows, Linux और Web पर GPU त्वरण को विस्तारित करता है, गूगल के अनुसार अपने पिछले GPU डेलिगेट से 1.4 गुना बेहतर प्रदर्शन प्राप्त करता है। वास्तविक latencia को कम करने के लिए, यह असिंक्रोनस निष्पादन और शून्य कॉपी तकनीकों को लागू करता है, CPU और त्वरकों के बीच डेटा आंदोलन में ओवरहेड को न्यूनतम करता है।

मेरे डिवाइस पर धीमा चलता है की बहानों को अलविदा 😅

LiteRT के साथ, जब मॉडल मोबाइल पर रेंगता है तो डेवलपर की क्लासिक बहाना के दिन गिने-जुने हो सकते हैं। अब, अगर ऐप घोंघे की गति से जवाब देता है, तो हम इन्फरेंस डेलिगेट को शांति से दोष नहीं दे पाएंगे। गूगल हमसे एक बहुत प्यारा बलि का बकरा छीन लेता है, हमें नई और रचनात्मक बहाने ढूंढने के लिए मजबूर करता है, जैसे कि उपयोगकर्ता के पास बैकग्राउंड में बहुत सारे कैट खुले हैं। दबाव बढ़ रहा है।