LiteRT समुदाय एक खुला मानक बनाने की पहल प्रस्तुत करता है जो AI मॉडलों को सीधे स्थानीय हार्डवेयर पर निष्पादन को अनुकूलित करता है। उद्देश्य प्रयासों को एकीकृत करना है ताकि अनुमान तेज़ हो और कम संसाधनों का उपभोग करे, बिना क्लाउड पर निर्भर हुए। यह मोबाइल, IoT उपकरणों और एम्बेडेड हार्डवेयर पर वास्तविक समय अनुप्रयोगों के लिए महत्वपूर्ण है।
हल्के निष्पादन की वास्तुकला और दृष्टिकोण 🤖
LiteRT एक न्यूनतम रनटाइम पर केंद्रित है जो अनावश्यक अमूर्तन परतों को हटा देता है। यह निम्न स्तर पर काम करता है, सीधे स्मृति और CPU/GPU/NPU चक्रों का प्रबंधन करता है। इसका मॉड्यूलर डिज़ाइन डेवलपर्स को अपने मॉडल के लिए केवल आवश्यक ऑपरेटरों को शामिल करने की अनुमति देता है, बाइनरी फुटप्रिंट को कम करता है। ONNX जैसे प्रारूपों के साथ संगतता विभिन्न चिपसेट्स के बीच पोर्टेबिलिटी को सुगम बनाती है।
क्लाउड को अलविदा: अब तुम्हारा टोस्टर तुमसे ज्यादा सोचता है 🍞
इस मानक के साथ, जल्द ही हम देखेंगे कि एक दरवाजे का गति सेंसर दृष्टि का एक मॉडल निष्पादित करता है ताकि तय कर सके कि तुम हो या बिल्ली, जबकि तुम्हारा पुराना फोन जीवन के अर्थ पर चिंतन करने वाला एक स्थानीय LLM निष्पादित करता है। विडंबना चरम पर होगी जब एक उपकरण, जो हमारी मस्तिष्क शक्ति का एक अंश रखता है, हमें वास्तविक समय में सुधारता है। भविष्य यह है कि वॉशिंग मशीन में एक AI हो जो तुम्हारे प्रोग्राम चयन का न्याय करे।