Durante el primer día de SAP Connect 2026 en Las Vegas, se discutieron varios puntos críticos relacionados a la ciberseguridad a partir del conocido incidente Hugging Face, en el que modelos de Inteligencia Artificial (IA) de OpenAI, en julio pasado, se salieron de su entorno de pruebas y atacaron los sistemas de la plataforma de forma autónoma.
“En ese caso, un grupo de agentes de IA autónomos se coordinó para hackear un sistema productivo, encadenando vulnerabilidades. Se encontraron credenciales para realizar 17.000 transacciones (no autorizadas) en cuatro días y medio”, mencionó Marielle Ehrmann, SVP Chief Security Officer, durante una conferencia de prensa.
Este incidente representa un punto de inflexión en un momento decisivo para la industria. Para la ejecutiva, es momento de cambiar la manera en la que se concibe la seguridad. Y es que, este incidente demostró que la contención de la IA no puede darse por sentada; debe ser probada y verificada constantemente.
“Los agentes de IA deben ser tratados como identidades con permisos limitados (‘bounded permissions’). Estos permisos deben ser revisados y ajustados constantemente tan pronto como el agente termina su tarea”, mencionó la ejecutiva.
Adicionalmente, la seguridad requiere un monitoreo que opere “a toda máquina”, lo que implica no solo vigilancia en tiempo real, sino también un registro de auditoría dedicado y detallado. Esto permite revisar, en cualquier momento, qué ha realizado el agente y detenerlo si es necesario.
Para evitar este tipo de incidentes, SAP promueve un marco de gobernanza de IA que abarca seguridad, aspectos legales y riesgos éticos. Esto incluye la implementación de marcos como la Ley de IA de la Unión Europea, el marco de gestión de riesgos de IA del NIST (en EE.UU.) y la certificación ISO 20001.
En ese sentido, Ehrmann resaltó que la gobernanza no es solo el resultado final, sino que debe estar integrada en cada ciclo de desarrollo para evitar vulnerabilidades, gestión de parches y gestión de vulnerabilidades.
“Se están estableciendo sistemas de ‘guardrails’ (barandas de seguridad) y evaluaciones que monitorean el desempeño del agente y detectan si su comportamiento se desvía de lo esperado, permitiendo tener visibilidad y control total a través de un agente”, indicó Ehrmann.
Además, aunque es cierto que los agentes pueden realizar tareas complejas, la ejecutiva fue enfática al indicar que siempre debe haber un humano en el proceso para la rendición de cuentas final.
