BIAS ALGORÍTMICO Y PROTECCIÓN DE LOS DERECHOS HUMANOS EN LA ERA DE LA INTELIGENCIA ARTIFICIAL

Resumo

La adopción de sistemas basados en la inteligencia artificial (IA) y en algoritmos por parte de las administraciones públicas para la gestión y la prestación de servicios esenciales (como la sanidad, la educación, la asistencia social, las prestaciones sociales y la asignación de viviendas) empieza a plantear importantes interrogantes sobre su impacto en la justicia social y los derechos humanos. Este estudio se centrará en el sesgo algorítmico, que se entenderá no solo como un defecto de programación, sino también como un nuevo factor que podría reproducir y amplificar las desigualdades sociales. En primer lugar, se llevará a cabo una revisión crítica de la literatura sociológica (desde la sociología de las desigualdades hasta la sociología de la burocracia y los estudios emergentes sobre el estado del bienestar digital) y se analizarán casos prácticos. A continuación, se intentará comprender cómo y por qué determinados grupos sociales vulnerables — identificados en función de múltiples ejes de desigualdad, como los ingresos, el origen étnico, el género, la procedencia geográfica y la discapacidad — se ven sistemáticamente desfavorecidos o excluidos del acceso a estos servicios vitales debido a la presencia de sesgos en los algoritmos de toma de decisiones. Algunos análisis preliminares ponen de manifiesto que los sesgos están muy arraigados en las estructuras sociales, los contextos históricos y los valores personales. Si no se evalúan correctamente, los sesgos algorítmicos, que podrían estar presentes en los sistemas de IA, podrían encontrarse tanto en los datos de entrenamiento como en el diseño de los sistemas. En consecuencia, las decisiones automáticas derivadas de estas podrían consolidar e institucionalizar la discriminación y, además, algunos grupos desfavorecidos podrían tener un acceso limitado a los recursos y las oportunidades, lo que violaría, de hecho, los principios fundamentales de la justicia procesal y distributiva, así como derechos humanos específicos como el derecho a la no discriminación, a la salud y a la educación. En definitiva, el objetivo de este estudio es sentar las bases para una comprensión sociológica de cómo la implementación de la IA en el sector público no es solo un proceso de optimización técnica, sino que también puede provocar transformaciones (o conservar) en las dinámicas de poder y las desigualdades sociales. Por lo tanto, para garantizar la justicia social y la protección de los derechos humanos en la era digital, es esencial abordar y limitar el problema del sesgo algorítmico, sentando las bases para un estado del bienestar más equitativo y socialmente sostenible.