La inteligencia artificial (IA) está transformando la administración pública, pero su integración presenta desafíos. Según un informe de Ismael Peña López, los procedimientos tradicionales no se adaptan a sistemas que evolucionan y pueden ser opacos. La falta de auditoría en algoritmos utilizados para decisiones sociales puede llevar a resultados injustos. Es crucial involucrar a las partes interesadas para asegurar un uso inclusivo y efectivo de la IA en el sector público.
Los procedimientos tradicionales de las administraciones públicas están diseñados para adquirir bienes o servicios cerrados, lo que contrasta con la naturaleza de sistemas como la inteligencia artificial (IA). Esta tecnología no solo aprende y evoluciona, sino que también presenta una lógica interna que puede resultar opaca. Así lo indica el informe Stakeholder Engagement in Public Procurement for Artificial Intelligence: A Mission-Oriented Playbook, elaborado por el profesor Ismael Peña López de la Universitat Oberta de Catalunya (UOC) para Participation AI.
Peña López destaca que «la inteligencia artificial se está convirtiendo rápidamente en una tecnología de uso general con un potencial significativo para la transformación en todos los ámbitos». El sector público está comenzando a adoptar esta herramienta para diversos fines, desde mejorar la prestación de servicios públicos hasta diseñar y aplicar políticas, así como promover y configurar la propia tecnología en beneficio del interés público.
Un ejemplo ilustrativo es el caso de un ayuntamiento que decide contratar un algoritmo para analizar factores interseccionales relacionados con la pobreza en su municipio. Sin embargo, surge una pregunta crucial: ¿cómo se puede auditar el proceso de toma de decisiones del algoritmo? Si este sistema no es capaz de ser auditado, existe el riesgo de que reproduzca sesgos discriminatorios sin que nadie pueda verificarlo.
Imaginemos también que se contrata un sistema de IA destinado a clasificar a solicitantes de ayudas sociales. Si las organizaciones no gubernamentales (ONG) que trabajan con colectivos vulnerables no son consultadas ni informadas durante este proceso, las consecuencias pueden ser graves. No solo podría resultar en un diseño ineficaz, sino que también podría llevar a decisiones injustas.