Un juge fédéral a annulé la suppression de subventions de plus de 100 millions de dollars, impulsée par le Département de l'Efficacité Gouvernementale. La juge Colleen McMahon a déterminé que l'utilisation de ChatGPT pour identifier et éliminer les fonds liés à la diversité, l'équité et l'inclusion (DEI) était dépourvue de base légale. L'affaire expose les risques de déléguer des décisions administratives à l'intelligence artificielle sans supervision humaine.
L'algorithme qui décidait sans comprendre le contexte 🧠
Justin Fox, ancien employé de DOGE, a admis avoir utilisé ChatGPT pour analyser les descriptions de subventions de la Fondation Nationale pour les Sciences Humaines. Sa méthodologie était simple : demander au chatbot si chaque projet était lié à la DEI, en espérant un Oui ou Non avec une brève explication. Fox n'a pas défini le terme DEI pour l'IA ni vérifié comment celle-ci interprétait des concepts complexes comme l'inclusion ou l'équité. Cela a généré des annulations arbitraires de projets culturels et éducatifs.
Quand le chef est un prompt mal écrit 🤖
Le plus curieux dans cette affaire est que personne n'a pris la peine d'expliquer à ChatGPT ce que signifiait DEI. Fox a admis qu'il ignorait comment l'IA interprétait le terme. En gros, ils ont décidé de l'avenir de millions de dollars en demandant à un chatbot sans contexte, comme on demanderait à un serveur de choisir le vin sans savoir si le dîner est du poisson ou de la viande. Le résultat : un chaos juridique et des subventions coupées au hasard.