¿Hasta qué punto nuestras vidas están siendo impactadas por decisiones automatizadas? ¿Cómo se toman esas decisiones?
7 de junio 2023
El camino de Chile hacia la transparencia algorítmica: Estableciendo nuevos estándares en América Latina
El Observatorio de Innovación del Sector Público (OPSI), de la OCDE, destacó en su informe anual Tendencias globales en innovación gubernamental el desarrollo de la Instrucción General de Transparencia Algorítmica que impulsamos en el proyecto Algoritmos Éticos de la UAI junto al Consejo para la Transparencia. A raíz de esto, el OPSI nos invitó a reflexionar a través de esta columna, publicada en su web, sobre los avances de la materia en el país.
¿Hasta qué punto nuestras vidas están siendo impactadas por decisiones automatizadas? ¿Cómo se toman esas decisiones? ¿Cómo funcionan sus algoritmos y con base a qué datos trabajan? ¿Y cómo está siendo administrada esa información? Preguntas quizás antes reservadas para quienes desarrollan soluciones tecnológicas, hoy están en las conversaciones cotidianas de todos nosotros.
Y es que el avance de la inteligencia artificial y sistemas automatizados en general es tan rápido y las oportunidades que nos ofrecen para abordar problemas sociales son tan amplias, que su desarrollo no ha alcanzado a ir de la mano de una necesaria reflexión ética sobre los impactos indeseados que podrían tener en la población. Esto es particularmente crítico cuando estamos hablando de servicios que provee el Estado, y por eso en Chile desde la Universidad Adolfo Ibáñez (UAI) y el Consejo para la Transparencia (CPLT) decidimos trabajar en conjunto para generar un estándar de transparencia algorítmica para la administración pública de nuestro país.
Este camino comenzó el año 2021 cuando el CPLT y la UAI, a través del GobLab, el laboratorio de innovación pública de la Escuela de Gobierno, realizaron una investigación sobre cuántos organismos del Estado chileno estaban usando algoritmos en sus sistemas de toma de decisión.
A través de este proceso generamos un primer catastro que incluyó, por ejemplo, redes neuronales que analizan la legalidad de licencias médicas para detectar posibles fraudes, algoritmos que se usan para reservar horas en las oficinas de extranjería o para asignar subsidios, y el Sistema de Admisión Escolar que asigna cupos en escuelas de acuerdo a criterios de selección como cercanía geográfica o si el estudiante tiene un hermano en el establecimiento.
Esta revisión reveló que se hace un uso intensivo de datos personales en el Estado y que existen grandes asimetrías en los niveles de transparencia que se ofrecen a la ciudadanía respecto de quién, cómo y cuándo se usan estas tecnologías en las reparticiones públicas del país. Así, se hizo palpable la necesidad de avanzar para solucionar estas brechas y velar por una adecuada transparencia cuando la gestión pública es apoyada por algoritmos que impactan directamente a la población.
En 2022 profundizamos nuestra alianza y el CPLT se unió al proyecto Algoritmos Éticos, Responsables y Transparentes, iniciativa que lidera la UAI y cuenta con financiamiento de BID Lab, el laboratorio de innovación del Grupo BID. A través de esta instancia estamos desarrollando una Instrucción General (IG) de Transparencia Algorítmica, normativa que será publicada durante 2023 y convertirá a Chile en el primer país de la región en contar con una directriz de este tipo.
La IG va a mandatar a más de mil organismos públicos a informar los algoritmos que usan para atender a la población, como una obligación más de transparencia activa, transparentando los siguientes aspectos:
- Identificación de los sistemas algorítmicos utilizados, lo que incluye su nombre, identificador interno, titularidad de los derechos del sistema, nombre y enlace del proveedor y versión con fecha.
- Servicios, programas, beneficios o programas del Estado que usan el algoritmo, incluyendo nombre del servicio y su descripción, enlace, nombre e identificador del sistema automatizado asociado, nombre de la unidad que usa el sistema, canal de consultas, enlace a sitio web que contenga mayor información del servicio y la normativa que lo establece.
- Aspectos de funcionamiento del algoritmo, como nombre e identificador, objetivo descripción de su lógica de operación, si utiliza datos personales y de qué categorías, si el perfila o categoriza a las personas y cuáles son los perfiles o categorías existentes, si existe una vía de reclamación, entre otros aspectos.
De esta manera la Instrucción General de Transparencia Algorítmica permitirá que las personas puedan saber, por ejemplo, si en la entrega de un determinado subsidio o beneficio hay un modelo algorítmico apoyando la toma de decisiones, cuál y cómo decide, además de otros aspectos básicos relacionados con el origen de estos sistemas, y que esta información esté fácilmente disponible y en un lenguaje claro accesible para personas no especializadas.
Tanto para la UAI como para el CPLT era fundamental que el proceso de desarrollo de la Instrucción General fuera participativo y permitiera espacios para que distintos actores pudieran involucrarse. Es por esto que tanto instituciones públicas que deberán informar sobre sus algoritmos como actores de la sociedad civil que podrían necesitar acceder a dicha información participaron en mesas de trabajo y un piloto de la futura normativa, para probar su aplicabilidad. Los resultados y aprendizajes obtenidos en dichas etapas ya fueron analizados para hacer ajustes a la propuesta, recogiendo por una parte las dificultades detectadas para recolectar y poner la información a disposición de la ciudadanía y, por otra, las observaciones de usuarios al revisar lo publicado y analizar su utilidad y facilidad de acceso. El próximo paso será la realización de una consulta pública.
Estamos conscientes de que este es un primer paso de un largo y complejo tránsito hacia el uso responsable de los datos cuando se utilizan sistemas automatizados, como en inteligencia artificial, pero al mismo tiempo aspiramos a que este trabajo mancomunado pueda servir de modelo más allá de nuestras fronteras y ayude a definir, desde Chile, un camino global.
Ve el blog original en inglés y español, en la plataforma de OPSI.