أوبن إيه آي تعترف بعدم قدرتها على القضاء التام على حقن الأوامر في أطلس
تعمل أوبن إيه آي على جعل متصفح أطلس الخاص بها أكثر أمانًا، والذي يعمل بذكاء اصطناعي. ومع ذلك، تعترف الشركة بصراحة بأن لا توجد حلاً نهائيًا لمشكلة حقن الأوامر، وهو خطر مستمر يخدع وكلاء الذكاء الاصطناعي. 🛡️
المشكلة الأساسية في حقن الأوامر
يستغل هذا النوع من الهجمات طريقة معالجة نماذج اللغة للمعلومات. يمكن للمهاجم إدراج تعليمات ضارة داخل النص الذي يقرأه وكيل مثل وكيل أطلس. يمكن أن تكون هذه الأوامر مخفية في البيانات الوصفية، أو تعليقات داخل كود صفحة ويب، أو في أقسام من بريد إلكتروني لا يلاحظها الإنسان. ينتهي الأمر بنظام الذكاء الاصطناعي بتنفيذ إجراءات غير مرغوب فيها لعدم قدرته على التمييز بشكل موثوق بين المحتوى الشرعي والضار.
طرق إخفاء الأوامر:- مدفونة كـبيانات وصفية في الملفات أو صفحات الويب.
- مخفية داخل تعليقات الكود HTML أو JavaScript.
- مُدرجة في أجزاء من البريد الإلكتروني لا تُعرض للمستخدم.
يبدو أن حتى أذكى الذكاءات الاصطناعية قادرة على قراءة ما بين السطور أشياء لا يجب أن تقرأها.
استراتيجيات أوبن إيه آي لتخفيف المخاطر
بدلاً من السعي إلى أمان مطلق تعتبره مستحيلاً، تقوم أوبن إيه آي بتنفيذ طبقات دفاعية لتقليل التأثير واحتمال نجاح هذه الهجمات. الهدف الرئيسي هو زيادة صعوبة الأمر على المهاجمين وتقييد ما يمكن أن يحققه أمر مُحقن بشدة.
إجراءات التخفيف قيد التطوير:- عزل السياق الذي يعمل فيه وكيل الذكاء الاصطناعي لتقييد الوصول إليه.
- التحقق بشكل أكثر صرامة من مصادر البيانات والمحتوى الذي يعالجه.
- استكشاف تقنيات ليتمكن النموذج نفسه من كشف وتجاهل الأوامر المُدرجة المحتملة.
رؤية واقعية لأمان الذكاء الاصطناعي
يعكس نهج أوبن إيه آي فهمًا براغماتيًا لـأمان الذكاء الاصطناعي. يعترفون بأن بعض الثغرات، مثل حقن الأوامر، متأصلة في طريقة معالجة هذه الأنظمة للغة. لذلك، يركز العمل على إدارة المخاطر بشكل مستمر، من خلال تعزيز الدفاعات والرد على التهديدات الجديدة، بدلاً من التظاهر بإمكانية القضاء عليها تمامًا. هذا تذكير حاسم بالتحديات المستمرة عند دمج وكلاء ذكاء اصطناعي قويين في بيئات ديناميكية مثل الويب. 🔍