Google 위협 인텔리전스 그룹(GTIG)이 오픈소스 관리 도구의 2단계 인증을 우회하도록 설계된 제로데이 익스플로잇을 차단했습니다. 연구원들은 사이버 범죄 행위자들이 대규모 공격을 계획하고 있었음을 감지했으며, 인공지능 개입의 단서로는 가짜 CVSS 점수와 매우 구조화된 텍스트 형식이 포함되었습니다.
익스플로잇과 언어 모델의 흔적 🧠
GTIG 분석가들은 악성 코드가 알려지지 않은 취약점을 악용하여 2단계 인증을 우회하고 있음을 확인했습니다. 주목을 끈 것은 가짜 CVSS 점수의 존재였는데, 이는 언어 모델이 검증 없이 데이터를 생성할 때 나타나는 전형적인 오류입니다. 또한 익스플로잇과 관련된 기술 보고서의 형식이 AI 어시스턴트의 출력과 매우 유사한 구조와 표현을 보여, 연구원들은 인공지능이 그 개발에 참여했다고 결론지었습니다.
ChatGPT조차 보안 시험에 통과하지 못했습니다 🤖
사이버 범죄자들이 익스플로잇을 만들기 위해 AI의 도움을 요청한 것으로 보이지만, 어시스턴트는 가짜 위험 점수가 포함된 보고서를 반환했습니다. 즉, AI가 작업을 수행했지만 숙제를 지어냈다는 뜻입니다. Google이 이를 적발하지 않았다면, 오픈소스 도구는 이 디지털 난장판으로부터 자신을 보호하기 위해 단순한 CAPTCHA 이상의 것이 필요했을 것입니다.