يبرز جبهة جديدة من المعلومات المضللة مع مساعدي الذكاء الاصطناعي مثل ChatGPT. عند إجراء عمليات بحث على الويب مباشرة للرد على استفسارات غير شائعة، يمكن لهذه الأنظمة دمج بيانات كاذبة من صفحات تم التلاعب بها. المشكلة تكمن في أنها تقدم المعلومات كحقيقة مثبتة، دون تقديم مقارنة بين مصادر محرك بحث تقليدي، مما يسهل انتشار الشائعات.
العطل في آلية RAG وتدقيق المصادر ⚠️
تقنيًا، يتفاقم المشكلة في الأنظمة التي تستخدم RAG (الاسترجاع-التعزيز التوليدي). عندما تكون الاستعلام خارج معرفة النموذج الأساسية، يسترجع هذا النموذج مقتطفات من الويب. بدون فلتر قوي يدقق سلطة المصدر أو صحتها، يتم دمج نص مكتوب جيدًا في موقع يبدو جادًا كسياق. الرد المولد من ذلك السياق يكتسب نبرة واقعية، بدون تفاصيل أو تحذيرات بشأن إمكانية كذبه.
موظفك الجديد المتدرب الرقمي يصدق كل ما يقرأه على الإنترنت 😅
إنه مثل وجود متدرب متحمس جدًا، الذي لإبهارك، يلتهم أول مقال يجده في مدونة عشوائية ويقدمه لك كـ الحقيقة المطلقة للصناعة. تسأله عن شائعة حول الأجهزة، وبكل جدية، ينقل لك الحقائق من موقع تم إنشاؤه أمس. السخرية أننا نثق في موضوعيته الظاهرية، بينما في الواقع لديه مصداقية شخص اكتشف الشبكة للتو. خطوة إلى الأمام في التكنولوجيا، خطوتان إلى الوراء في الحس السليم.