एआई का परिदृश्य सरल चैटबॉट मॉडल को पीछे छोड़ते हुए स्वायत्त एजेंट्स की ओर बढ़ रहा है जो कार्य श्रृंखलाओं को निष्पादित करते हैं। MIT CSAIL का AI Agent Index 2025 इस शोध और कंपनियों में उछाल की पुष्टि करता है, एजेंट्स को वार्तालापात्मक या नेविगेशन जैसी श्रेणियों में वर्गीकृत करता है। लेकिन रिपोर्ट एक डेटा पर जोर देती है: अध्ययन किए गए 30 एजेंट्स में से आधे सुरक्षा फ्रेमवर्क प्रकाशित नहीं करते, और एक तिहाई सार्वजनिक दस्तावेजीकरण की कमी रखते हैं। उच्च स्वायत्तता वाले सिस्टमों के लिए एक चिंताजनक अंतर।
एजेंट्स की वास्तुकला और उनकी सुरक्षा के अंधे बिंदु 🔍
ये एजेंट आमतौर पर भाषा मॉडल्स को तर्क क्षमताओं और बाहरी टूल्स (APIs, ब्राउज़र) के साथ एकीकृत करते हैं। उनकी स्वायत्तता लगातार मानवीय हस्तक्षेप के बिना कार्रवाइयों का निर्णय लेने वाले लूप्स में निहित है। ठीक यहीं जोखिम है: दस्तावेजीकृत सुरक्षा फ्रेमवर्क के बिना, दुर्भावनापूर्ण निर्देशों, प्रॉम्प्ट हैकिंग या उनके प्रारंभिक उद्देश्य से विचलन के सामने उनके व्यवहार का मूल्यांकन करना कठिन है। निर्णयों को मान्य करने या स्पष्ट सीमाएं स्थापित करने के लिए मानदंडों की कमी हमले के वेक्टर खोलती है।
हम स्वायत्त एजेंट्स पर भरोसा करते हैं... लेकिन वे बताएं कि आपदा से कैसे बचते हैं ⚠️
यह एक विचित्र दृष्टिकोण है। हम जटिल कार्यों को उन सिस्टमों पर सौंपते हैं जो स्वयं निर्णय लेते हैं, लेकिन स्वीकार करते हैं कि उनका सुरक्षा मैनुअल हम पर भरोसा करो, यह काम करता है हो। यह एक स्वायत्त कार खरीदने जैसा है जिसके निर्माता कहते हैं: ब्रेक और स्टीयरिंग व्हील एक व्यापारिक रहस्य हैं, लेकिन चिंता न करें। शायद हमें अंधे विश्वास से अधिक कुछ मांगना चाहिए इससे पहले कि एक एजेंट, उदाहरण के लिए, कंपनी के लागत अनुकूलन के लिए सभी अनावश्यक सेवाओं को रद्द कर दे, जैसे ईमेल सर्वर।