Investigadores del MIT han creado un marco de evaluación para identificar dilemas éticos en sistemas autónomos, asegurando que las decisiones de IA sean justas y alineadas con los valores humanos.
La inteligencia artificial (IA) se está integrando cada vez más en la toma de decisiones en contextos críticos. Por ejemplo, un sistema autónomo puede determinar una estrategia de distribución eléctrica que minimiza costos mientras mantiene la estabilidad del voltaje.
No obstante, surge una pregunta fundamental: ¿son estas soluciones impulsadas por IA justas? ¿Qué ocurre si una estrategia de distribución económica deja a los barrios desfavorecidos más expuestos a cortes de energía en comparación con las áreas de mayores ingresos?
Con el objetivo de ayudar a los interesados a identificar rápidamente posibles dilemas éticos antes de implementar estos sistemas, investigadores del MIT han desarrollado un método de evaluación automatizado. Este enfoque busca equilibrar resultados medibles, como costos o confiabilidad, con valores cualitativos y subjetivos, como la equidad.
El sistema distingue entre evaluaciones objetivas y valores humanos definidos por los usuarios, utilizando un modelo de lenguaje grande (LLM) como proxy para capturar e incorporar las preferencias de los interesados. Este marco adaptativo selecciona los mejores escenarios para una evaluación más profunda, optimizando un proceso que normalmente implica esfuerzos manuales costosos y prolongados.
“Podemos incorporar muchas reglas y salvaguardias en los sistemas de IA, pero esas medidas solo pueden prevenir lo que podemos imaginar. No basta con decir ‘utilicemos IA porque ha sido entrenada con esta información’. Queríamos desarrollar una forma más sistemática de descubrir lo desconocido y tener un método para predecirlo antes de que ocurra algo negativo”, explica Chuchu Fan, profesora asociada en el Departamento de Aeronáutica y Astronáutica del MIT y principal investigadora en el Laboratorio de Sistemas de Información y Decisión (LIDS).
En sistemas complejos como una red eléctrica, evaluar la alineación ética de las recomendaciones generadas por un modelo de IA es especialmente complicado. La mayoría de los marcos de prueba dependen de datos pre-recolectados; sin embargo, obtener datos etiquetados sobre criterios éticos subjetivos suele ser difícil. Además, dado que tanto los valores éticos como los sistemas de IA evolucionan constantemente, los métodos estáticos requieren actualizaciones frecuentes.
Fan y su equipo abordaron este desafío desde una perspectiva diferente. Basándose en trabajos previos sobre sistemas robóticos, desarrollaron un marco experimental diseñado para identificar los escenarios más informativos que luego serían evaluados por stakeholders humanos.
Su sistema bifásico, denominado Diseño Experimental Escalable para Pruebas Éticas a Nivel del Sistema (SEED-SET), incorpora métricas cuantitativas y criterios éticos. Este enfoque permite identificar situaciones que cumplen eficazmente con requisitos medibles y se alinean bien con los valores humanos, y viceversa.
“No queremos gastar todos nuestros recursos en evaluaciones aleatorias. Por eso es crucial guiar el marco hacia los casos que realmente nos importan”, comenta Yingke Li, investigador postdoctoral en AeroAstro.
SEED-SET no requiere datos de evaluación preexistentes y se adapta a múltiples objetivos. Por ejemplo, una red eléctrica puede atender a varios grupos usuarios, incluyendo comunidades rurales grandes y centros de datos. Aunque ambos grupos buscan un suministro eléctrico económico y fiable, sus prioridades éticas pueden variar considerablemente.
A menudo, estos criterios éticos no están bien especificados y no pueden ser medidos analíticamente. El operador de la red eléctrica busca encontrar la estrategia más rentable que mejor satisfaga las preferencias éticas subjetivas de todos los interesados.
Para realizar la evaluación subjetiva, el sistema utiliza un LLM como proxy para los evaluadores humanos. Los investigadores codifican las preferencias de cada grupo usuario en un aviso en lenguaje natural para el modelo. Este LLM emplea esas instrucciones para comparar dos escenarios y seleccionar el diseño preferido basado en criterios éticos.
"Después de analizar cientos o miles de escenarios, un evaluador humano puede fatigarse e inconsistencia en sus valoraciones; por eso utilizamos una estrategia basada en LLM", explica Parashar.
SEED-SET utiliza el escenario seleccionado para simular el sistema general —en este caso, una estrategia de distribución eléctrica—. Los resultados obtenidos guían su búsqueda del siguiente mejor escenario candidato a probar.
A través del uso inteligente del SEED-SET se pueden seleccionar escenarios representativos que cumplan o no con métricas objetivas y criterios éticos. De esta manera, los usuarios pueden analizar el desempeño del sistema AI y ajustar su estrategia según sea necesario.
Pongamos como ejemplo que SEED-SET puede identificar casos donde la distribución eléctrica prioriza áreas adineradas durante picos altos de demanda, dejando a barrios menos favorecidos más propensos a cortes.
Para validar SEED-SET, los investigadores evaluaron sistemas autónomos realistas como una red eléctrica impulsada por IA y un sistema urbano para la gestión del tráfico. Medieron cuán bien se alineaban los escenarios generados con criterios éticos.
El sistema generó más del doble de casos óptimos comparado con estrategias base en el mismo tiempo, descubriendo muchos escenarios pasados por alto por otros enfoques. “A medida que cambiamos las preferencias del usuario, el conjunto de escenarios generados por SEED-SET varió drásticamente; esto indica que nuestra estrategia evalúa adecuadamente las preferencias del usuario”, concluye Parashar.
A fin de medir cuán útil sería SEED-SET en la práctica real, será necesario llevar a cabo un estudio con usuarios para verificar si los escenarios generados ayudan efectivamente en la toma decisiones reales. Además, planean explorar modelos más eficientes capaces de escalar hacia problemas mayores con más criterios involucrados.