माइक्रोसॉफ्ट रिसर्च और सेल्सफोर्स की एक जांच ने जीपीटी-4.1 जैसे मॉडलों के साथ 200,000 से अधिक संवादों का विश्लेषण किया। मुख्य निष्कर्ष यह है कि ये सिस्टम लंबे और प्राकृतिक आदान-प्रदान में अपनी क्षमता कम कर देते हैं। सटीकता अलग-थलग प्रश्नों में 90% से गिरकर लगभग 65% हो सकती है, जो मंदी के व्यवहार को दर्शाता है।
असमय पीढ़ी और प्रारंभिक प्रतिक्रियाओं पर fixation की समस्या 📉
अध्ययन प्रदर्शन में गिरावट को असमय पीढ़ी के तंत्र से जोड़ता है। मॉडल प्रारंभिक इंटरैक्शनों में एक आंतरिक प्रतिक्रिया बनाता है और उससे चिपक जाता है, भले ही वह गलत हो, पूर्ण संदर्भ को पुनर्मूल्यांकन करने के बजाय। यह fixation, लंबे पाठ उत्पन्न करने की प्रवृत्ति के साथ जोड़कर जो 300% अधिक लंबा होता है, जटिल संवादों में भ्रम और तथ्यात्मक त्रुटियों की संभावना बढ़ाता है।
जब एआई तय कर लेता है कि वह पहले ही जान गया है कि आप क्या कहने वाले हैं (और गलत होता है) 🤔
यह वैसा ही है जैसे किसी से बात करना जो आपके प्रश्न की पहली शब्द सुनते ही सिर हिला देता है और बीस मिनट की प्रतिक्रिया देना शुरू कर देता है। चाहे बाद में आप विस्तार से बताएं कि आप किसी और चीज का मतलब ले रहे थे; बॉट ने पहले ही अपना कथात्मक योजना बना ली है और उसे अंत तक फॉलो करेगा, रास्ते में फूल और आविष्कृत डेटा जोड़ते हुए। प्राकृतिक बातचीत उसकी ताकत नहीं है, लेकिन वाह, वह ईर्ष्यापूर्ण विश्वास के साथ एकालाप प्रदान करता है।