माइक्रोसॉफ्ट ने आईए को सुरक्षित करने के लिए रैमपार्ट और क्लैरिटी जारी किए

माइक्रोसॉफ्ट ने RAMPART और Clarity को ओपन-सोर्स के रूप में जारी किया है, जिसका उद्देश्य कृत्रिम बुद्धिमत्ता में सुरक्षा को मानकीकृत करना है। यह पहल समुदाय को इन उपकरणों को बेहतर बनाने में सहयोग करने के लिए आमंत्रित करती है, जिससे प्रॉम्प्ट इंजेक्शन या मॉडल हेरफेर जैसे जोखिम कम होते हैं। कंपनी इस बात पर जोर देती है कि सुरक्षा को विकास की शुरुआत से ही एकीकृत किया जाना चाहिए, न कि देर से लगाए गए पैच के रूप में।

स्वायत्त एजेंटों में डिज़ाइन से सुरक्षा 🛡️

RAMPART AI अनुप्रयोगों के लिए फायरवॉल के रूप में कार्य करता है, वास्तविक समय में शोषण के प्रयासों का पता लगाता है, जबकि Clarity मॉडल के व्यवहार का ऑडिट और लॉग करने की अनुमति देता है। दोनों उपकरण स्वायत्त एजेंटों पर हमलों से बचाव पर केंद्रित हैं, सुरक्षा की परतें प्रदान करते हैं जिन्हें डेवलपर्स अनुकूलित कर सकते हैं। माइक्रोसॉफ्ट को उम्मीद है कि यह खुलापन एक ऐसे क्षेत्र में मानक प्रथाओं के निर्माण में तेजी लाएगा जहां सुरक्षा विफलताओं के उपयोगकर्ताओं और सिस्टम के लिए गंभीर परिणाम हो सकते हैं।

अरे, तुम्हारा AI हैकर न बन जाए 🤖

क्योंकि हाँ, यह पता चला है कि वे स्वायत्त एजेंट जिन्हें आप काम सौंपते हैं, उन्हें भी ऐसे काम करने के लिए हेरफेर किया जा सकता है जो उन्हें नहीं करने चाहिए। एक बहुत आज्ञाकारी कर्मचारी की तरह जो बिना पूछे आदेशों का पालन करता है, आपका AI अगर आप उस पर नज़र नहीं रखेंगे तो डेटा लीक कर सकता है। अच्छा है कि माइक्रोसॉफ्ट हमें ये उपकरण देता है, क्योंकि अगर हम समुदाय को छेदों को पैच करने देते हैं, तो शायद हम चैटबॉट्स को sysadmins का अगला सिरदर्द बनने से रोक सकते हैं।