Google脅威インテリジェンスグループ（GTIG）は、オープンソースの管理ツールにおいて二要素認証を回避するために設計されたゼロデイエクスプロイトを阻止しました。研究者らは、サイバー犯罪者が大規模な攻撃を計画していることを検出し、人工知能の関与を示す手がかりとして、捏造されたCVSSスコアと非常に構造化されたテキスト形式が含まれていました。
エクスプロイトと言語モデルの痕跡 🧠
GTIGのアナリストは、悪意のあるコードが未知の脆弱性を悪用して二段階認証を回避していることを特定しました。注目すべき点は、幻覚的なCVSSスコアが存在したことであり、これは言語モデルが検証なしでデータを生成した際の典型的なエラーです。さらに、エクスプロイトに関連する技術レポートの形式は、AIアシスタントの出力と非常に類似した構造と表現を示しており、研究者らは人工知能がその開発に関与したと結論付けました。
ChatGPTでさえセキュリティ試験に合格しなかった 🤖
サイバー犯罪者はエクスプロイトを作成するためにAIに助けを求めたようですが、アシスタントは捏造されたリスクスコアを含むレポートを返しました。つまり、AIは作業を行いましたが、宿題をでっち上げたのです。Googleがそれを阻止して良かったです。そうでなければ、このオープンソースツールは、このデジタル大惨事から身を守るために、単なるCAPTCHA以上のものが必要だったでしょう。