Santiago Muñoz Machado, director de la RAE y ahora también miembro de la Academia de Jurisprudencia, ha puesto el foco en un riesgo concreto: la inteligencia artificial aplicada a la gestión pública puede operar al margen de la legalidad. Su advertencia, realizada durante su ingreso en esta tercera academia, señala que los algoritmos podrían tomar decisiones sin el control debido, afectando servicios esenciales y derechos de los ciudadanos.
Algoritmos opacos: el nuevo agujero legal en los sistemas públicos ⚖️
El problema técnico radica en que muchos sistemas de IA utilizan modelos de caja negra, donde ni los desarrolladores pueden explicar cómo se llega a una resolución. Si un ciudadano recibe una denegación de prestación o una multa generada por un algoritmo, carece de mecanismos para recurrirla con garantías. La falta de trazabilidad y de supervisión humana convierte a la Administración en un ente que puede incumplir la ley sin darse cuenta, o peor, a propósito. La transparencia algorítmica no es opcional, es un requisito legal.
La máquina que te deniega la beca y se va de vacaciones 🤖
Imagínate: solicitas una ayuda, un algoritmo la rechaza y cuando reclamas te responden que la IA ha decidido que no cumples los requisitos. Pides hablar con un humano, pero te informan de que el sistema está de mantenimiento. Mientras, el funcionario de turno disfruta de un café porque el ordenador hace su trabajo. Lo peor es que, si la máquina se equivoca, no puedes ponerle una multa ni enviarla a un curso de reciclaje. La solución no es apagar los servidores, sino enchufarles un buen marco legal.