Las instituciones estatales se basan cada vez más en los sistemas algorítmicos para apoyar evaluaciones y determinaciones consecuentes sobre la vida de las personas, desde juzgar la elegibilidad para la asistencia social hasta tratar de predecir la delincuencia y los delincuentes. América Latina no es una excepción. Dado que el uso de la inteligencia artificial (IA) plantea desafíos en materia de derechos humanos en la región, la EFF publicó hoy el informe Estándares Interamericanos y Uso Estatal de la IA en Decisiones que Afecten Derechos Humanos: Implicaciones para los DDHH y Marco Operativo.

El informe completo está aquí.

Este informe se basa en el derecho internacional de los derechos humanos, en particular en las normas del Sistema Interamericano de Derechos Humanos, para ofrecer orientación sobre lo que deben tener en cuenta las instituciones estatales a la hora de evaluar si adoptan sistemas de inteligencia artificial y de toma de decisiones automatizada (ADM) para tomar decisiones que puedan afectar a los derechos de las personas, y cómo hacerlo.

Hemos organizado el contenido del informe y los testimonios sobre los retos actuales de expertos de la sociedad civil sobre el terreno en nuestra  página acerca del proyecto.

Los sistemas basados en la IA implican derechos humanos

El informe llega en pleno despliegue de sistemas basados en IA/ADM por parte de las instituciones estatales latinoamericanas para la prestación de servicios y la toma de decisiones que afectan a los derechos humanos. Los colombianos deben someterse a la clasificación del Sisbén, que mide su grado de pobreza y vulnerabilidad, si quieren acceder a programas de protección social. En Brasil, las noticias han vuelto a poner de manifiesto los problemas y peligros de Córtex, un sistema de vigilancia basado en algoritmos que cruza varias bases de datos estatales de gran alcance y escasos controles. Sistemas de evaluación de riesgo que buscan predecir la deserción escolar, la violación de los derechos de los niños o el embarazo adolescente han integrado programas relacionados con el gobierno en países como México, Chile y Argentina. Diferentes tribunales de la región también han implementado herramientas basadas en IA para una variada gama de tareas.

El informe de la EFF pretende abordar dos preocupaciones principales: la opacidad y la falta de protección de los derechos humanos en la toma de decisiones estatales basadas en IA. Los sistemas algorítmicos son a menudo desplegados por los organismos estatales de manera que ocultan cómo se toman las decisiones, dejando a las personas afectadas con poca comprensión o recurso.

Además, estos sistemas pueden exacerbar las desigualdades existentes, afectando de forma desproporcionada a las comunidades marginadas sin proporcionarles vías de reparación adecuadas. La falta de participación pública en el desarrollo y la aplicación de estos sistemas socava aún más la gobernanza democrática, ya que los grupos afectados suelen quedar excluidos de los procesos de toma de decisiones significativas relacionadas con la adopción y el uso de estas tecnologías por parte de los entes estatales.

Esto va en contra de la protección de los derechos humanos que la mayoría de los países latinoamericanos están obligados a mantener. La mayoría de los Estados se han comprometido a cumplir la Convención Americana sobre Derechos Humanos y el Protocolo de San Salvador. En virtud de estos instrumentos internacionales, tienen el deber de respetar los derechos humanos y evitar que se produzcan violaciones. La responsabilidad de los Estados ante el derecho internacional de los derechos humanos como garantes de los mismos, y de las personas y grupos sociales como titulares de derechos -con derecho a reclamarlos y a participar- son dos principios básicos que deben guiar cualquier uso legítimo de los sistemas de IA/ADM por parte de las instituciones estatales para la toma de decisiones que afectan derechos humanos, tal y como subrayamos en el informe.

Marco Interamericano de Derechos Humanos

A partir de una amplia investigación de los informes de la Comisión Interamericana de Derechos Humanos y de las decisiones y opiniones consultivas de la Corte Interamericana de Derechos Humanos, elaboramos implicaciones para los derechos humanos y un marco operativo para su debida consideración en el uso gubernamental de sistemas algorítmicos.

Detallamos lo que significan los compromisos de los Estados en el marco del Sistema Interamericano cuando los órganos estatales deciden implementar tecnologías de IA/ADM para determinaciones basadas en derechos. Explicamos por qué esta adopción debe cumplir los principios de necesidad y proporcionalidad, y qué implica esto. Subrayamos lo que significa tener un enfoque de derechos humanos en las políticas públicas basadas en la IA, incluidas las líneas rojas cruciales para no seguir adelante con su despliegue.

Explicamos en detalle qué deben observar los Estados para garantizar los derechos fundamentales de acuerdo con las normas interamericanas. Nos fijamos especialmente en la participación política, el acceso a la información, la igualdad y la no discriminación, el debido proceso, la privacidad y la protección de datos, las libertades de expresión, asociación y reunión, y el derecho a una vida digna en relación con los derechos sociales, económicos y culturales.

Algunos de ellos incorporan principios que deben ser transversales a las distintas fases de las políticas o iniciativas basadas en la IA: desde la delimitación del problema que los organismos estatales pretenden abordar y la valoración de si los sistemas algorítmicos pueden contribuir de forma fiable y eficaz a la consecución de sus objetivos, hasta el monitoreo y evaluación continuos de su aplicación.

Estos principios transversales integran el amplio marco operativo que ofrecemos en el informe para los gobiernos y los defensores de la sociedad civil de la región.

La transparencia, las garantías procesales y la privacidad de los datos son vitales

Las recomendaciones de nuestro informe refuerzan la idea de que los Estados deben garantizar la transparencia en todas las fases del despliegue de la IA. Los gobiernos deben proporcionar información clara sobre el funcionamiento de estos sistemas, incluidas las categorías de datos procesados, las métricas de rendimiento y los detalles del flujo de toma de decisiones, incluida la interacción entre la máquina y los humanos.

También es esencial revelar aspectos importantes de cómo se diseñaron, como detalles sobre los conjuntos de datos de entrenamiento y prueba del modelo. Además, las decisiones basadas en sistemas de IA/ADM deben tener una justificación clara, razonada y coherente. Sin esa transparencia, las personas no pueden comprender ni cuestionar eficazmente las decisiones que se toman sobre ellas, y aumenta el riesgo de que se produzcan violaciones de derechos sin control.

También se aborda el aprovechamiento de las garantías del debido proceso. El informe subraya que las decisiones tomadas por los sistemas de IA carecen a menudo de la transparencia necesaria para que las personas puedan impugnarlas. La falta de supervisión humana en estos procesos puede conducir a resultados arbitrarios o injustos. Garantizar que las personas afectadas tengan derecho a impugnar las decisiones basadas en la IA mediante mecanismos jurídicos accesibles y una revisión humana significativa es un paso fundamental para adecuar el uso de la IA a las normas de derechos humanos.

La transparencia y el debido proceso están relacionados con garantizar que las personas puedan disfrutar plenamente de los derechos que se derivan de la autodeterminación informativa, incluido el derecho a saber qué datos sobre ellas figuran en los registros estatales, de dónde proceden y cómo se procesan.

La Corte Interamericana reconoció recientemente la autodeterminación informativa como un derecho autónomo protegido por la Convención Americana. Concede a los individuos la facultad de decidir cuándo y en qué medida pueden revelarse aspectos de su vida privada, incluida su información personal. Está intrínsecamente relacionado con el libre desarrollo de la personalidad, y cualquier limitación debe estar legalmente establecida, y ser necesaria y proporcionada para alcanzar un objetivo legítimo.

Garantizar una participación pública significativa

La participación social es otra de las piedras angulares de las recomendaciones del informe. Insistimos en que los grupos marginados, que tienen más probabilidades de verse afectados negativamente por los sistemas de IA y ADM, deben tener voz en la forma en que se desarrollan y utilizan estos sistemas. Los mecanismos participativos no deben ser meros ejercicios de verificación de casillas y son vitales para garantizar que las iniciativas basadas en algoritmos no refuercen la discriminación ni violen los derechos. Las evaluaciones de impacto sobre los derechos humanos y las auditorías independientes son vectores importantes para una participación significativa y deben utilizarse durante todas las fases de planificación y despliegue.

Unas salvaguardias jurídicas sólidas, unas estructuras institucionales apropiadas y una supervisión eficaz, a menudo desatendidas, son condiciones subyacentes a cualquier uso legítimo de la IA por parte del gobierno para tomar decisiones basadas en los derechos. Dado que la IA sigue desempeñando un papel cada vez más importante en la vida pública, las conclusiones y recomendaciones de este informe son cruciales. Nuestro objetivo es hacer una contribución oportuna y convincente a favor de un enfoque centrado en los derechos humanos para el uso de la IA/ADM en la toma de decisiones públicas.

Nos gustaría dar las gracias a la consultora Rafaela Cavalcanti de Alcântara por su trabajo en este informe, y a Clarice Tavares, Jamila Venturini, Joan López Solano, Patricia Díaz Charquero, Priscilla Ruiz Guillén, Raquel Rachid y Tomás Pomar por sus aportaciones y comentarios al informe.