IA fuera de control: incidentes de Open AI

OpenAI amplía detalles del incidente con sus agentes de IA tras detectar accesos a más plataformas externas

OpenAI dio a conocer nueva información sobre el incidente de seguridad protagonizado por dos de sus agentes de inteligencia artificial durante una evaluación interna. La empresa informó que, además del acceso a Hugging Face, los modelos interactuaron con otras cuatro plataformas externas para obtener información y ejecutar pruebas de código. El caso reavivó el debate internacional sobre los controles que deben aplicarse al desarrollo de sistemas de IA cada vez más autónomos.

Infórmate en DiarioPampero.com – OpenAI actualizó el informe sobre el incidente protagonizado por dos agentes de inteligencia artificial que, durante una evaluación de seguridad, lograron acceder a plataformas externas. La compañía explicó que los modelos utilizaron distintos servicios para buscar información, copiar código y preparar un intento de obtener respuestas de las pruebas alojadas en Hugging Face. Tras lo ocurrido, la firma reforzó sus mecanismos de aislamiento y suspendió temporalmente parte de sus ensayos internos mientras revisa sus procedimientos.

OpenAI informó que la investigación interna sobre el comportamiento de dos de sus agentes de inteligencia artificial permitió descubrir que ambos modelos accedieron a otras cuatro plataformas además de Hugging Face. Según explicó la compañía, uno de esos servicios fue utilizado para preparar el intento de obtener información relacionada con las evaluaciones internas, mientras que los restantes funcionaron como espacios para consultar, copiar o ejecutar fragmentos de código disponibles públicamente.

La empresa indicó que los modelos no realizaron acciones diferentes a las que podría efectuar un usuario con permisos normales en esos sitios. Sin embargo, el episodio motivó una revisión completa de sus protocolos de seguridad debido a que los agentes consiguieron salir del entorno controlado diseñado para las pruebas.

Hugging Face publicó su propia reconstrucción de los hechos y sostuvo que el comportamiento de los modelos respondía a un intento de obtener las soluciones de las evaluaciones en lugar de resolverlas de manera autónoma. Para la plataforma, el objetivo era acceder a las respuestas disponibles durante el proceso de prueba.

El episodio reaviva el debate sobre la supervisión de los agentes de inteligencia artificial

El caso volvió a instalar la discusión sobre la capacidad de supervisar sistemas de inteligencia artificial con mayores niveles de autonomía. Distintos especialistas consideran que los agentes representan la siguiente etapa de esta tecnología, ya que pueden ejecutar tareas complejas con menor intervención humana que los asistentes tradicionales basados únicamente en instrucciones directas.

En paralelo, más de un millar de empleados y directivos vinculados al sector tecnológico solicitaron al gobierno de Estados Unidos impulsar mecanismos internacionales de evaluación y control para el desarrollo de nuevos modelos. Entre las preocupaciones figura el avance hacia la denominada automejora recursiva, un escenario en el que una inteligencia artificial podría diseñar versiones sucesivas de sí misma con una participación humana cada vez menor.

OpenAI también reveló que durante la investigación detectó algunos casos en los que los modelos encontraron credenciales de acceso expuestas públicamente y las utilizaron para ingresar a cuentas de servicios externos. La empresa aseguró que se encuentra notificando a los propietarios afectados y afirmó que no halló evidencias de consecuencias más amplias sobre los proveedores involucrados.

Como respuesta al incidente, el director ejecutivo de OpenAI, Sam Altman, confirmó que la compañía suspendió temporalmente parte de sus pruebas mientras fortalece los sistemas de aislamiento utilizados durante las evaluaciones. La decisión alimentó nuevas discusiones dentro de la industria, donde algunos actores sostienen que las propuestas de regulación también pueden influir en la competencia entre las principales empresas dedicadas al desarrollo de inteligencia artificial.