La EFF lleva años dando la voz de alarma sobre las tecnologías de toma de decisiones algorítmicas (ADM). Las ADM utilizan datos y reglas o modelos predefinidos para tomar o respaldar decisiones, a menudo con una participación humana mínima, y en 2024, el tema ha estado más activo que nunca, con propietarios, empleadores, reguladores y policías adoptando nuevas herramientas que tienen el potencial de afectar tanto a la libertad personal como al acceso a necesidades como la medicina y la vivienda.

Este año, escribimos informes detallados y comentarios los gobiernos de a EE.UU. y internacional explicando que la ADM plantea un alto riesgo de dañar los derechos humanos, especialmente en lo que respecta a cuestiones de imparcialidad y debido proceso. Los algoritmos de aprendizaje automático que permiten la ADM en contextos complejos intentan reproducir los patrones que disciernen en un conjunto de datos existente. Si se entrenan con un conjunto de datos sesgados, como los registros de a quién ha detenido la policía o a quién se aprueba históricamente para la cobertura sanitaria, se está creando una tecnología para automatizar la injusticia histórica sistémica. Y como estas tecnologías no explican (y normalmente no pueden hacerlo) su razonamiento, es muy difícil cuestionar sus resultados.

Si lo entrenas con un conjunto de datos sesgados, estás creando una tecnología para automatizar la injusticia histórica sistémica.

Es importante señalar que los responsables de la toma de decisiones tienden a hacer caso omiso de las ADM o a utilizarlas como tapadera para justificar sus propios prejuicios. Y aunque se aplican para cambiar la forma en que los funcionarios toman las decisiones, la adopción de una ADM suele considerarse una mera decisión de "contratación pública", como la compra de una nueva impresora, sin el tipo de participación pública que normalmente conllevaría un cambio de normativa. Esto, por supuesto, aumenta la probabilidad de que se perjudique a los ciudadanos vulnerables y de que se adopten tecnologías sin un examen significativo. Aunque puede haber casos positivos de uso del aprendizaje automático para analizar los procesos gubernamentales y los fenómenos del mundo, tomar decisiones sobre las personas es una de las peores aplicaciones de esta tecnología, que consolida la injusticia existente y crea nuevos errores difíciles de descubrir que pueden arruinar vidas.

La policía, las autoridades fronterizas y las agencias de espionaje han invertido alegremente el dinero de los contribuyentes en productos que dificultan la rendición de cuentas y no han demostrado ofrecer ningún otro "beneficio". Hemos escrito sobre el uso de IA generativa para redactar informes policiales basados en el audio de las grabaciones de las cámaras corporales, hemos señalado cómo el uso de la IA por parte de la seguridad nacional es una amenaza para la transparencia, y hemos pedido que se ponga fin al uso de la IA en las decisiones sobre inmigración .

El auge de la IA y el atractivo de los ADM han incentivado aún más la recopilación de cada vez más datos de los usuarios.

El sector privado también está desplegando la ADM para tomar decisiones sobre el acceso de las personas al empleo, la vivienda, la medicina y más. La gente comprende intuitivamente algunos de los riesgos que esto plantea, y la mayoría de los estadounidenses expresan su malestar sobre el uso de la IA en estos contextos. Las empresas pueden ganar dinero rápidamente despidiendo a gente y exigiendo a los trabajadores restantes que se las ingenien para aplicar herramientas de ADM para tomar estas decisiones más rápidamente, aunque cada vez está más claro que esto no produce los aumentos de productividad prometidos.

La ADM puede, sin embargo, ayudar a una empresa a evitar ser descubierta tomando decisiones discriminatorias que violen las leyes de derechos civiles, una razón por la que apoyamos mecanismos para prevenir la discriminación privada ilegal utilizando ADM. Por último, el bombo publicitario en torno a la IA y el atractivo de las ADM ha incentivado aún más la recopilación y monetización de cada vez más datos de los usuarios y más invasiones de la privacidad en línea, parte de la razón por la que seguimos presionando para que se adopte un enfoque privacy-first ante muchas de las aplicaciones perjudiciales de estas tecnologías.

En el episodio del podcast sobre IA de la EFF , analizamos algunos de los retos que plantea la IA y algunas de las aplicaciones positivas que puede tener esta tecnología cuando no se utiliza a expensas de los derechos humanos, el bienestar y el medio ambiente de las personas. Sin embargo, a menos que algo cambie drásticamente, el uso de la IA para tomar decisiones sobre los seres humanos está haciendo, por desgracia, mucho más mal que bien.

Este artículo forma parte de nuestra serie Year in Review. Lee otros artículos sobre la lucha por los derechos digitales en 2024.