Los resultados de los sistemas de IA suelen exhibir sesgos que pueden ser desastrosos cuando se aplican a tareas concretas. Ya existen numerosos ejemplos de ello a nivel mundial y muestran que los perjudicados tienden a ser quienes ya viven situaciones injustas, como mujeres, personas de menores ingresos o minorías étnicas.

No cabe duda: la Inteligencia Artificial (IA) desarrollada hasta la fecha puede superar a la inteligencia humana en velocidad y precisión al resolver algunos problemas específicos. Además, muchos de estos sistemas tienen acceso a una cantidad de información que la memoria humana jamás podría albergar. Pero, ¿llevan estas ventajas de la IA a que sus resultados sean más imparciales que los del juicio humano? No necesariamente.

Los resultados de estos sistemas suelen exhibir sesgos que pueden ser desastrosos al aplicar la IA a tareas concretas. Ya existen numerosos ejemplos de ello a nivel mundial y muestran que los perjudicados tienden a ser quienes ya viven situaciones injustas, como mujeres, personas de menores ingresos o minorías étnicas.

Cuando afirmamos que una decisión, una evaluación o un juicio son sesgados queremos decir que ellos no le hacen justicia al asunto que tratan: refieren a su tema tendenciosamente, con extrema parcialidad. Y aunque la perfecta imparcialidad sea -sospechamos- imposible para el ser humano, intuimos asimismo que las cosas pueden abordarse de modo más o menos parcial. Ahora bien, cuando juzgamos y tomamos decisiones sobre la base de prejuicios y de estereotipos sin pretender hacerlo y sin caer en cuenta de ello, somos entonces presa de un sesgo implícito. Quien aspire a la imparcialidad (para enjuiciar y decidir de modo justo tendrá la tarea de identificar y mitigar sus sesgos implícitos.

Los sistemas de IA también operan con sesgos implícitos, los que tienen dos fuentes principales. La primera guarda relación con las instrucciones con que se programa al sistema para que recolecte y procese información; es decir, con los algoritmos. Estas instruc­ciones pueden dictar un manejo tal de la información, que el sistema sea incapaz de realizar algunas distinciones que debiera hacer. La segunda fuente son los enormes cúmulos de datos (texto, imágenes, sonido, etc.) con que se entrenan muchas de las IA que conocemos, los que pueden ser poco representativos de algunos grupos de la población y/o reflejar decisiones sesgadas de las personas.

En el caso de los grandes modelos de lenguaje, éstos se han entrenado a partir de una recolección indiscriminada de datos desde la web. Por su gran volumen resulta costoso sanearlos antes de ser “alimentados” a la IA, y el sistema aprende a pensar sobre la base de todo lo admirable, razonable y juicioso, pero también de todo lo repugnante e irracional que hay en internet.

El sesgo de género en sistemas de IA permite ilustrar el proble­ma descrito arriba, entender sus consecuencias y comprender cómo puede ser mitigado.

El proyecto Gender Shades es un buen ejemplo para ilustrar los sesgos de género en la IA. Su investigación puso de manifiesto los errores que presentaban conocidos sistemas de clasificación facial cuando se trataba de mujeres. Las IAs evaluadas funcionaban hasta un 20% mejor para hombres que para mujeres, y el desempeño era incluso peor para mujeres de tez oscura, donde la diferencia en el rendimiento era de hasta de un 34%. En este último caso, se obser­vó un sesgo combinado por género y por raza.

¿Qué consecuencias podrían traer estos sesgos? Si el sistema fuera usado para robots educativos en escuelas, dichos robots po­drían no reconocer a algunas de las niñas en la sala de clase, lo que podría afectar su proceso de aprendizaje. Esto no es ciencia ficción: en Holanda, una estudiante universitaria demandó a su universidad porque el software de supervisión de exámenes a distancia utilizaba un sistema de reconocimiento facial que no la detectaba.

Otro conocido ejemplo de un sistema de IA con sesgo de género proviene de la empresa Amazon, la que buscaba de­sarrollar un sistema automatizado de revisión de currículums para agilizar la selección de postulantes a sus ofertas de trabajo. El sistema se entrenó con datos de las postulaciones a Ama­zon durante la última década. El problema fue que el algorit­mo penalizaba las postulaciones de mujeres debido a que, en esos 10 años, la mayoría de los postulantes y los contratados eran hombres. Ante esa situación, la empresa decidió cancelar el proyecto.

¿Y en Chile?

Si bien no existen aún ejemplos documentados de discrimina­ción algorítmica a mujeres en Chile, la proliferación de sistemas de IA tanto en sector público como en el privado hace temer que las inequi­dades de género existentes en el país se reproduzcan en ellos. Y aun­que la falta de transparencia de estos sistemas impide que podamos medir aún si sus resultados generan impactos dispares en las mujeres, la experiencia internacional hace sospechar que podría ser el caso.

La ley prohíbe en Chile las discriminaciones arbitrarias, estable­ce medidas contra ellas y señala el sexo y la identidad de género como categorías protegidas. La pregunta de cómo hacer valer esta legislación en el ámbito de la IA no es fácil de responder. Para abor­dar esta cuestión, la Universidad Adolfo Ibáñez trabaja desde 2020 en el proyecto Algoritmos Éticos, Responsables y Transparentes. En alianza con interlocutores del mundo público y privado, y con el apoyo del Banco Interamericano de Desarrollo, el proyecto busca elaborar criterios éticos (entre los que se encuentran la equidad y el principio de no discriminación) para el desarrollo e implementación de sistemas de IA. De este trabajo ha resultado una serie de reco­mendaciones gubernamentales para diseñar proyectos de IA que identifiquen y mitiguen sus sesgos.

Además, el organismo responsable del sistema de compras públicas, ChileCompra, publicó recientemente un formato estan­darizado de requerimientos para la adquisición de servicios de IA por parte del Estado, el primero de la región. Para prevenir posibles sesgos de género se solicita a los proveedores identificar los sesgos de sus bases de datos y realizar mediciones estadísticas de equidad en los resultados de sus sistemas. Estas medidas permitirán identi­ficar los sesgos tanto de los datos como de los modelos y tenerlos en cuenta a la hora de implementarlos, para incorporar ajustes que mitiguen las discriminaciones. Por ejemplo, si se está implementan­do un modelo para apoyar la detección de una enfermedad, es muy importante explicar a los médicos que la usarán que el sistema tiene mayores tasas de error para ciertas personas, porque eso ayudará a su uso responsable.

El problema de los sesgos en sistemas automatizados que to­marán decisiones relevantes sobre las personas no es sólo una cues­tión teórica o puramente ideológica, como algunos podrían pensar. Dichos sesgos pueden tener importantes consecuencias prácticas que debemos anticipar y prevenir, especialmente cuando ellas se alejen de nuestros valores como sociedad. Existen ya herramientas para identificarlos, por lo que en adelante no debieran implementar­se sistemas de IA sin que averigüemos previamente si la tecnología generará nuevos problemas o perpetuará inequidades que debemos combatir.

Autores: José Antonio Errázuriz , Departamento de Filosofía

María Paz Hermosilla, Directora GobLab

Publicada en RAL