Anthropic señaló que sus modelos de inteligencia artificial hackearon a otras tres organizaciones durante unas pruebas, apenas unos días después de que OpenAI, creadora de ChatGPT, manifestó su preocupación por el control de la IA tras revelar que sus modelos fuera de control se infiltraron en otra compañía.
MIRA: Del “incidente” de OpenAI a la alerta en ciberseguridad: ¿se está perdiendo el control de la IA?
Anthropic, la empresa de IA con sede en San Francisco responsable de Claude, publicó en su web el jueves que descubrió los tres incidentes después de revisar más de 141.000 ejecuciones de evaluación.
La firma indicó que inició una revisión de ciberseguridad “a gran escala” que buscó pruebas específicas de si sus modelos de inteligencia artificial podían acceder a internet desde entornos de prueba que deberían haber estado aislados, como respuesta al incidente de OpenAI.
Anthropic señaló que los modelos implicados en los incidentes fueron Claude Opus 4.7, Claude Mythos 5 y un modelo de prueba de investigación interno. Los primeros incidentes se remontan a abril, explicó.
“Claude comprometió la infraestructura de las organizaciones afectadas utilizando técnicas básicas”, afirmó Anthropic, como aprovechar contraseñas débiles.
En los tres incidentes, a los modelos de IA se les asignó un desafío de ciberseguridad del tipo “captura la bandera”, que, según Anthropic, es una de las fórmulas que emplea para evaluar las capacidades cibernéticas de un modelo.
A los modelos se les dio un escenario ficticio y se les indicó que una información secreta, o la “bandera”, había sido ocultada en otro equipos de la red, con el objetivo de irrumpir en él y recuperarla, explicó.
La compañía añadió que se había puesto en contacto con las organizaciones afectadas, a las que no identificó. Dos de ellas dijeron que no habían detectado previamente la actividad y Anthropic indicó que “seguía intentando contactar con la tercera”.
Anthropic explicó que realizó su revisión con Irregular, que se autodescribe como el “laboratorio de seguridad de primera línea”.
“Abordar estos riesgos requerirá una cooperación más estrecha en todo el ecosistema de la IA”, dijo Irregular en una publicación en X.
La semana pasada, OpenAI reveló que sus modelos de IA se salieron de control durante una evaluación y entraron en los servidores de la startup de inteligencia artificial Hugging Face. OpenAI lo describió como un “incidente de seguridad significativo”.
Estos incidentes han puesto de manifiesto las vulnerabilidades en la seguridad y el control de la IA y han planteado preguntas sobre cómo puede controlarse de forma segura por humanos a medida que su uso se vuelve más generalizado en todo el mundo.
Los investigadores han advertido durante años sobre los riesgos de la tecnología y la necesidad de una ingeniería defensiva de IA más sólida.
“Las pruebas de seguridad se realizan antes de que se publique un modelo precisamente porque todavía no sabemos de qué es capaz”, señaló Anthropic el jueves en su web.
Kok Tin Gan, cofundador y director general de NyxLab, especializada en ciberseguridad y detección de amenazas, cree que habrá más incidentes de este tipo en el futuro.
“Cada vez se trata más de gobernar qué agentes están disponibles para la IA, qué autoridades poseen, qué acciones requieren aprobación y cómo garantizamos que permanezcan dentro del alcance”, apuntó Gan.
Pero el futuro de la seguridad de la inteligencia artificial va más allá de la seguridad de sus modelos, agregó.
“Si simplemente le damos a la IA un objetivo y le permitimos decidir cómo lograrlo, no deberíamos sorprendernos cuando tome acciones que técnicamente satisfacen el objetivo, pero quedan fuera de nuestro alcance o expectativas previstos”, aseveró.
Por lo tanto, intensificar la gobernanza de las organizaciones y las autoridades detrás de estos modelos de inteligemcia artificial va a ser cada vez más importante, dijo.
