주요 AI 챗봇들은 Sora로 생성된 비디오를 감지하지 못한다
최근 NewsGuard의 보고서에서 가장 잘 알려진 인공지능 어시스턴트에 중요한 결함이 드러났습니다: OpenAI의 생성기 Sora가 비디오를 생성했을 때 이를 인식하지 못합니다. 같은 회사가 만든 ChatGPT조차 이 작업에서 실패합니다. 전문가들은 진짜 시각 자료와 조작된 자료로 여러 모델을 평가했으며, 결과는 콘텐츠의 출처를 식별하는 데 뚜렷한 제한을 지적합니다. 🤖
평가 결과 인식의 격차를 보여줍니다
연구원들은 챗봇들에게 실제 클립 5개와 Sora로 만든 클립 5개를 보여주며 출처를 판단하도록 요청했습니다. 테스트된 시스템들, 즉 ChatGPT, Google Gemini, Microsoft Copilot, Meta AI, Grok의 버전 중 어느 것도 80% 이상의 정확도를 달성하지 못했습니다. 여러 경우에 모델들은 자료를 분석하기를 거부하거나 합성 콘텐츠를 식별하는 방법에 대한 일반적인 답변을 주었을 뿐, 그 지식을 실제로 적용하지 않았습니다.
평가된 모델과 성능:- ChatGPT (OpenAI): 모회사에서 만든 비디오를 인식하지 못했습니다.
- Google Gemini와 Microsoft Copilot: 낮은 정확도와 회피적인 답변을 보였습니다.
- Meta AI와 Grok: 분석을 자주 거부하거나 적용 불가능한 이론적 가이드를 제공했습니다.
일반 언어 모델들은 비디오 검증이라는 이 구체적인 작업으로 그들의 지식을 효과적으로 이전하지 못합니다.
온라인 정보에 대한 위험은 명확합니다
비디오의 진위성을 검증하지 못하는 이 불가능성은 인터넷상의 허위 정보에 대처하는 데 즉각적인 도전을 제시합니다. 많은 사람들이 콘텐츠를 검토하기 위해 의지하는 도구들이 Sora가 생산할 수 있는 초현실적 자료에 대비되지 않았습니다. 이 시나리오는 더 견고하고 전문화된 탐지 방법 개발의 시급성을 강조합니다. 🚨
이 제한의 실질적 함의:- 사용자들은 IA로 생성된 가짜 콘텐츠를 필터링하기 위해 이러한 어시스턴트에 의존할 수 없습니다.
- 기만적인 자료를 더 쉽게 만들고 배포할 창구가 열립니다.
- 챗봇들이 설명하는 워터마크나 프레임 이상에 대한 이론은 실제로 적용되지 않습니다.
현대 인공지능의 역설
인공지능이 현대 문제의 해결책으로 자주 홍보되는데도, 그 자체의 가장 진보된 창작물을 식별하지 못한다는 것이 역설적입니다. 챗봇들은 탐지에 대한 광범위한 설명을 제공하지만, 실제 사례에 직면하면 실패합니다. 이 발견은 온라인 시각 정보의 무결성을 실제로 보호할 수 있는 도구를 개발하기 위해 더 다르고 구체적인 접근이 필요함을 강조합니다.