생성형 인공지능은 유용하지만 심각한 문제가 있습니다: 환각(hallucination)입니다. 모델이 데이터나 코드를 지어낼 때 단순히 오류를 일으키는 것뿐만 아니라 실제 공격에 대한 문을 열 수 있습니다. 가짜 URL이나 존재하지 않는 API 키를 생성하는 어시스턴트는 보안 시스템을 속이고 중요한 정보를 노출할 수 있습니다.
기술적 환각이 시스템을 손상시키는 방법 🛡️
개발 환경에서 AI는 존재하지 않는 라이브러리나 지어낸 보안 패치를 제안할 수 있습니다. 신뢰하는 프로그래머가 해당 코드를 구현하면, 그 가상의 이름을 등록한 공격자가 만든 악성 패키지를 무심코 설치하게 될 수 있습니다. 환각 중독으로 알려진 이 공격 벡터는 모델 응답에 대한 사용자의 신뢰를 악용합니다. 정보의 진위성은 움직이는 표적이 됩니다.
다리를 사라고 추천하는 어시스턴트 🌉
당신은 AI에게 안전한 레시피를 물었고, AI는 구름 세비체를 추천했습니다. 이제 보안 시스템은 브루클린 다리가 할인 중이라고 굳게 믿는 어시스턴트의 지시를 받고 있습니다. AI가 직원을 관리자로 환각한다면, 아마도 그에게 모든 접근 권한을 부여할 것입니다. 다음 번에는 코드를 실행하기 전에 그것이 스크립트로 위장한 동화가 아닌지 확인하십시오.