OpenAI ha lanzado una nueva herramienta gratuita para organizaciones verificadas que permite detectar material de abuso sexual infantil (CSAM), tanto generado con inteligencia artificial (IA) como contenido real, además de introducir nuevas medidas de prevención en ChatGPT.
`; document.body.appendChild(modalWrapper); let figcaption = modalWrapper.querySelector(«figcaption»); if(figcaption) figcaption.style.display=»none»; modalWrapper.querySelector(«.s-multimedia__close-modal»).addEventListener(«click»,()=>{modalWrapper.remove(); e.style.display=»flex»; if(caption) caption.style.display=»block»;});})})});});
Asimismo, la compañía ha identificado cómo el nuevo clasificador podría reducir el trabajo de revisión. Según sus estimaciones, marcaría un 48 por ciento menos de imágenes, encontrando aproximadamente la misma cantidad de imágenes abusivas que la herramienta actual. Es decir, señala específicamente el contenido que sí significa un abuso, dejando fuera las imágenes que finalmente no contienen CSAM.
Siguiendo esta línea, en las pruebas realizadas con imágenes de producción revisadas por humanos, han indicado que el 72 por ciento de las alertas fueron confirmadas por los revisores como “material de abuso sexual infantil novedoso”.
“Empresas como OpenAI tienen la responsabilidad de evitar que nuestra tecnología sea utilizada por depredadores para dañar a los niños, y también debemos colaborar con el sector en general, las organizaciones de protección infantil y las fuerzas del orden para impulsar nuestros esfuerzos colectivos de protección infantil en línea”, ha manifestado la tecnológica al respecto.
Nuevas medidas de prevención en ChatGPT
Por otra parte, OpenAI también ha introducido nuevas advertencias y medidas de prevención para interrumpir comportamientos potencialmente dañinos en ChatGPT.
Según ha indicado, el ‘chatbot’ mostrará advertencias cuando detecte intentos de encontrar material de abuso sexual infantil. Asimismo, los mensajes explicarán las consecuencias de sexualizar a menores, incluso cuando el contenido solicitado sea generado mediante IA.
Como resultado de estos comportamientos, OpenAI ha indicado que la conversación señalada con CSAM se eliminará automáticamente y el acceso del usuario a ChatGPT quedará suspendido durante un día. No obstante, la compañía ha subrayado que se ofrecerán opciones de apoyo especializadas para ayudar a los usuarios a “abandonar estos comportamientos”.
Con todo, en caso de identificar infracciones reiteradas por parte de un mismo perfil, OpenAI ha señalado que podrá interponer restricciones más prolongadas, llegando incluso a cerrar la cuenta o a contactar con las autoridades pertinentes.
Todas estas medidas se unen a las políticas que ya dispone OpenAI para prohibir este tipo de material, así como a las restricciones existentes sobre la generación de este tipo de contenido y su búsqueda.
Guía para desarrolladores y herramientas para unidades policiales
Finalmente, OpenAi ha publicado una nueva guía práctica dirigida a los desarrolladores para ayudarles a prevenir, detectar y responder ante el abuso sexual infantil en sus entornos digitales.
Esta guía incluye sistemas para que los usuarios puedan comunicar posibles casos de abuso, herramientas de detección de contenidos, procedimientos para revisar y denunciar posibles casos y recomendaciones para proteger a los profesionales que revisan contenidos sensibles, entre otras cuestiones.
Por otra parte, ha anunciado nuevas herramientas y opciones de formación para unidades policiales especializadas en protección infantil. Entre las que se incluyen complementos y herramientas específicas para investigaciones, capacidad de análisis de grandes volúmenes de datos y formación sobre el uso de IA en investigaciones.

