الذكاءات الاصطناعية التوليدية مفيدة، لكنها تعاني من مشكلة خطيرة: الهلوسة. عندما يخترع النموذج بيانات أو كودًا، فإنه لا يسبب أخطاء فحسب، بل قد يفتح أبوابًا لهجمات حقيقية. يمكن لمساعد يولد عنوان URL مزيفًا أو مفتاح API غير موجود أن يخدع أنظمة الأمان ويكشف معلومات حساسة.
كيف تعرض الهلوسات التقنية الأنظمة للخطر 🛡️
في بيئات التطوير، قد يقترح الذكاء الاصطناعي مكتبات غير موجودة أو تصحيحات أمان مختلقة. قد يقوم مبرمج واثق بتنفيذ هذا الكود، مثبتًا دون علمه حزمة ضارة أنشأها مهاجم سجل هذا الاسم الوهمي. هذا المتجه الهجومي، المعروف باسم تسميم الهلوسة، يستغل ثقة المستخدم في ردود النموذج. تصبح أصالة المعلومات هدفًا متحركًا.
المساعد الذي يوصيك بشراء جسر 🌉
سألت ذكاءك الاصطناعي عن وصفة آمنة، فاقترح عليك سيفيتشي السحابة. الآن، تتلقى أنظمة الأمان تعليمات من مساعد يعتقد اعتقادًا راسخًا أن جسر بروكلين معروض للبيع. إذا هلوس الذكاء الاصطناعي بأن موظفًا ما هو مدير، فقد يمنحه صلاحية الوصول الكامل. في المرة القادمة، قبل تنفيذ كودك، تحقق من أنه ليس حكاية خرافية متنكرة في هيئة سكريبت.