Con el auge de la inteligencia artificial generativa, numerosos modelos de código abierto están disponibles en línea, permitiendo a los usuarios adaptarlos para diversas tareas, como crear representaciones de productos en estilos artísticos específicos. Sin embargo, estos modelos también pueden caer en manos de actores malintencionados que los optimizan para generar contenido ilegal, como discursos de odio o material relacionado con el abuso sexual infantil (CSAM). Este problema es cada vez más preocupante: el Centro Nacional para Niños Desaparecidos y Explotados recibió más de 1.5 millones de informes sobre CSAM generado por IA en 2025, un aumento significativo desde las 67,000 denuncias del año anterior.
Nueva técnica de auditoría
Tradicionalmente, los ingenieros evalúan la capacidad dañina de los modelos de IA al inducirlos a generar contenido perjudicial y luego examinar sus salidas. Sin embargo, esto resulta imposible con el CSAM, ya que es ilegal en EE.UU. producir dicho contenido independientemente de la intención.
Para abordar este dilema y mejorar la seguridad en IA, un equipo de científicos del MIT, liderado por el estudiante graduado Vinith Suriyakumar y las profesoras asociadas Ashia Wilson y Marzyeh Ghassemi, se unió a investigadores de Thorn, una organización sin fines de lucro dedicada a la protección infantil frente al abuso y la explotación digital. Juntos desarrollaron un nuevo enfoque de auditoría que permite determinar si un modelo puede producir CSAM sin necesidad de inducirlo a hacerlo.
Claves de la noticia
Un nuevo método auditivo
Permite evaluar modelos sin generar contenido.
Colaboración con Thorn
Organización enfocada en la seguridad infantil.
100% precisión en pruebas
Identifica modelos capaces de generar CSAM.
La técnica propuesta examina cómo se han adaptado los mecanismos internos del modelo sin generar ningún tipo de salida. Al analizar representaciones ocultas, puede inferir con fiabilidad si un modelo ha sido especializado para producir imágenes dañinas. En las pruebas realizadas, el procedimiento de auditoría identificó variaciones del modelo especializadas en generar CSAM con una precisión del 100%. Esto permitiría a las plataformas que alojan estos modelos marcar aquellos que son inseguros y eliminarlos rápidamente o evitar su carga inicial.
“Esto abre una nueva vía para que las plataformas que alojan modelos de código abierto y las fuerzas del orden puedan probar efectivamente si un modelo es capaz de generar CSAM. Antes no teníamos forma de medir esto; era un gran punto ciego que algunos aprovechaban”, explica Suriyakumar.
Auditoría sin generación
A medida que las técnicas recientes han facilitado la especialización eficiente de modelos generativos mediante un proceso conocido como ajuste fino (fine-tuning), se ha observado una proliferación tanto de variantes útiles como maliciosas. La adaptación baja por rango (LoRA) permite especializar modelos sin necesidad de reentrenar completamente el sistema.
No obstante, esta misma técnica ha sido utilizada por actores maliciosos para crear modelos capaces de generar CSAM y otras imágenes perjudiciales. A través del uso del muestreo gaussiano (Gaussian probing), los investigadores alimentan al modelo con puntos aleatorios y analizan cómo manipula esos datos dentro de su estructura interna multilayer. “Nunca ejecutamos el modelo hasta el final ni lo inducimos; nunca generamos imágenes”, aclara Suriyakumar.
Los investigadores registran estas modificaciones en varios momentos dentro del funcionamiento interno del modelo y promedian los resultados para resumir cómo el adaptador LoRA cambió los cálculos del modelo. Su método fue 100% efectivo al identificar aquellos modelos adaptados para generar CSAM.
Implicaciones futuras
“Existen preocupaciones reales sobre la seguridad infantil relacionadas con la IA que deben ser abordadas”, afirma Wilson. Su técnica es escalable y relativamente económica, lo cual es crucial dado que miles de variaciones modelísticas se publican mensualmente en línea. La robustez del muestreo gaussiano también supera a otros métodos auditivos existentes, ya que un actor malintencionado tendría que alterar cuidadosamente el funcionamiento interno del modelo base para evitar ser detectado.
De cara al futuro, los investigadores planean evaluar su técnica sobre un conjunto más amplio de variaciones modelísticas y explorar si el muestreo gaussiano puede detectar capacidades dañinas en modelos base antes de ser adaptados. “Ahora contamos con un enfoque tecnológico para abordar parcialmente esta preocupación”, concluye Ghassemi.
Preguntas sobre la noticia
¿Cómo funciona la nueva técnica de auditoría para modelos de IA generativa?
La técnica se basa en examinar las modificaciones que un algoritmo de adaptación de bajo rango (LoRA) realiza durante el ajuste fino del modelo, sin generar salidas. Utiliza un método llamado sondeo gaussiano para analizar cómo el modelo manipula datos aleatorios dentro de su estructura interna, lo que permite inferir si ha sido especializado para producir contenido dañino.
¿Qué precisión tiene la técnica en la identificación de contenido ilegal generado por IA?
La técnica ha demostrado ser 100% precisa al identificar variaciones de modelos que han sido adaptadas para generar material de abuso sexual infantil (CSAM), lo cual es crucial para prevenir la distribución de estos modelos peligrosos.
¿Por qué es importante esta investigación en el contexto actual de la IA generativa?
Con el aumento en la disponibilidad y uso de modelos de IA generativa, también ha crecido el riesgo de que sean utilizados por actores maliciosos para crear contenido ilegal. Esta investigación proporciona una solución escalable y efectiva para auditar estos modelos y proteger a los niños del contenido dañino.
¿Cuáles son los próximos pasos para los investigadores tras este descubrimiento?
Los investigadores planean evaluar su técnica en un conjunto más amplio de variaciones de modelos y explorar si el sondeo gaussiano puede detectar capacidades dañinas en modelos base antes de que sean adaptados.
Si (
No(
