OpenAI decide tarde el gestionar los riesgos asociados a la IA avanzada
OpenAI refuerza su estructura interna para gestionar los riesgos asociados a la inteligencia artificial avanzada. Sam Altman, director ejecutivo de la empresa, designa a Aleksander Madry como jefe de preparación. Este nuevo equipo supervisará y evaluará los posibles peligros de los futuros sistemas de IA, desde el mal uso hasta la autonomía de estos modelos.
La misión del equipo de preparación
El equipo dirigido por Madry se centrará en analizar y mitigar riesgos catastróficos. Su trabajo incluye evaluar amenazas como la capacidad de los modelos para crear armas químicas o biológicas, su potencial para engañar a los humanos o el riesgo de que operen de forma autónoma. El objetivo es establecer un marco que permita a OpenAI desarrollar tecnología poderosa de manera segura y responsable.
Un enfoque en la seguridad a largo plazo
Esta decisión responde a la creciente preocupación sobre los posibles efectos negativos de la IA superinteligente. Madry, profesor del MIT con experiencia en robustez y seguridad de la IA, liderará esfuerzos para prever escenarios de alto impacto. El equipo producirará informes trimestrales para el consejo directivo, buscando que la empresa no solo innove, sino que también anticipe y gestione los peligros asociados a su propio éxito.
Mientras algunos equipos se dedican a crear una inteligencia que pueda superar a la humana, otro equipo se ocupa de asegurarse de que, si lo logra, no decida que somos un error en el sistema que hay que corregir. Es la clásica división entre el departamento de I+D y el de control de daños.
