AI सहायकों के लिए स्मृति के क्षेत्र में, वर्तमान प्रवृत्ति बड़े भाषा मॉडल्स का उपयोग डेटा को संरचित करने के लिए स्टोर करते समय और उन्हें पुनः प्राप्त करने के लिए भी शामिल करती है। SmartSearch इस पैराडाइम को चुनौती देता है यह दर्शाकर कि एक लगभग पूरी तरह से निर्धारणवादी पाइपलाइन इन जटिल सिस्टम्स को पार कर सकती है। यह LoCoMo और LongMemEval-S जैसे बेंचमार्क्स में बेहतर जानकारी पुनः प्राप्ति प्राप्त करता है, 8.5 गुना कम संदर्भ टोकन का उपयोग करते हुए और CPU पर लगभग 650 ms की लेटेंसी के साथ चलते हुए। यह प्रगति हल्के, तेज और स्केलेबल संवादात्मक सहायकों का वादा करती है। 🤖
संवादों में पुनः प्राप्ति के लिए एक निर्धारणवादी पाइपलाइन 🔍
SmartSearch तीन प्रमुख चरणों में कार्य करता है। पहले, यह नामित संस्थाओं की प्रासंगिकता से वेटेड सबस्ट्रिंग मिलान द्वारा प्रारंभिक पुनः प्राप्ति करता है। फिर, बिना प्रोसेसिंग के इतिहास में संबंधित संस्थाओं की खोज के लिए सरल नियमों का उपयोग करके मल्टी-होप तरीके से खोज का विस्तार करता है। अंततः, एक एकल सीखा घटक परिणामों को फ्यूज करता है और री-रैंक करता है: एक CrossEncoder+ColBERT मॉडल जो CPU पर कुशलतापूर्वक चलता है। विश्लेषण से पता चलता है कि, हालांकि कच्ची पुनः प्राप्ति उत्कृष्ट है, बोतलनेक रैंकिंग में है; उनके स्कोर-आधारित अनुकूली ट्रंकेशन विधि के बिना, टोकन सीमित करते समय अधिकांश प्रासंगिक साक्ष्य खो जाएंगे।
हल्की AI के भविष्य के लिए निहितार्थ ⚡
SmartSearch की सफलता संवादात्मक स्मृति जैसी विशिष्ट कार्यों के लिए भारी और महंगी वास्तुकलों की आवश्यकता पर सवाल उठाती है। इंगेस्टन समय पर LLMs पर निर्भरता को कम करके और निर्धारणवादी दक्षता को प्राथमिकता देकर, यह अधिक सुलभ और टिकाऊ AI सिस्टम्स की ओर एक मार्ग स्थापित करता है। यह सीमित संसाधनों वाले डिवाइसों या कम लेटेंसी की आवश्यकता वाले अनुप्रयोगों में बुद्धिमान सहायकों को एकीकृत करने के लिए महत्वपूर्ण है, वर्तमान विशाल कम्प्यूटेशनल फुटप्रिंट के बिना उन्नत संवादात्मक क्षमताओं तक पहुंच को लोकतांत्रिक बनाते हुए।
क्या LLMs के साथ महंगी इंगेस्टन और संरचना पर निर्भर किए बिना एक कुशल और संदर्भीय संवादात्मक स्मृति सिस्टम बनाना संभव है?
(PD: स्ट्रीसैंड प्रभाव कार्रवाई में: जितना अधिक आप इसे प्रतिबंधित करते हैं, उतना ही अधिक इसका उपयोग करते हैं, जैसे microslop)