Cuidado con el algoritmo, puede discriminar, advierten expertos en derechos humanos a la Policía
Noticias ONU.- Un comité de la ONU ha emitido una recomendación para que los agentes de seguridad de los 182 países adheridos a la Convención sobre la Eliminación de Todas las Formas de Discriminación Racial puedan combatir los prejuicios raciales en el desempeño de su labor. Los expertos en derechos humanos ponen especial atención en los sesgos que la inteligencia artificial y los macrodatos pueden crear.
El Comité para la Eliminación de la Discriminación Racial publicó este jueves una guía para combatir esta lacra entre las Policías de todo el mundo, enfatizando, entre otras cuestiones, el grave riesgo de sesgo algorítmico cuando se utiliza la inteligencia artificial (IA) en la aplicación de la ley.
Integrado por 18 expertos individuales, el Comité dirige su recomendación general sobre la prevención y la lucha contra la discriminación racial a los 182 Estados miembros de la Convención sobre la Eliminación de Todas las Formas de Discriminación Racial.
Los expertos en derechos humanos señalan que el mayor uso por parte de las fuerzas del orden de los macrodatos, la inteligencia artificial, el reconocimiento facial y otras nuevas tecnologías corre el riesgo de profundizar el racismo, la discriminación racial, la xenofobia y, en consecuencia, la violación de muchos derechos humanos.
“Los macrodatos y las herramientas de inteligencia artificial pueden reproducir y reforzar los prejuicios ya existentes y dar lugar a prácticas aún más discriminatorias. Estamos profundamente preocupados por los riesgos particulares cuando se utiliza el perfil algorítmico para determinar la probabilidad de actividad delictiva”, dijo Verene Shepherd, miembro del Comité que dirigió la redacción de la recomendación general.
“Por ejemplo, los datos históricos de arrestos sobre un vecindario pueden reflejar prácticas policiales con prejuicios raciales; y esos datos profundizarán el riesgo de vigilancia excesiva en el mismo vecindario, lo que a su vez puede conducir a más arrestos, creando un circuito de retroalimentación peligroso”, explicó.
El uso cada vez mayor de tecnologías de reconocimiento y vigilancia facial para rastrear y controlar datos demográficos específicos genera preocupaciones con respecto a muchos derechos humanos, incluidos los derechos a la intimidad, la libertad de reunión pacífica y asociación, la libertad de expresión y libertad de movimiento.
Transparencia en el diseño y la aplicación de los sistemas
Entre sus recomendaciones, el Comité destacó que los sistemas de elaboración de perfiles algorítmicos deberían cumplir plenamente con el derecho internacional de los derechos humanos. Subrayó la importancia de la transparencia en el diseño y la aplicación de sistemas de elaboración de perfiles algorítmicos cuando se implementan con fines policiales.
“Esto incluye la divulgación pública del uso de tales sistemas y explicaciones de cómo funcionan los sistemas, qué conjuntos de datos se están utilizando y qué medidas se han implementado para prevenir daños a los derechos humanos”, dijo el Comité en su recomendación.
El Comité cree que las empresas privadas que desarrollan, venden u operan sistemas de elaboración de perfiles algorítmicos con fines de aplicación de la ley también tienen la responsabilidad de involucrar a personas de diversos sectores, incluidos expertos legales, para evaluar el riesgo de violación de los derechos humanos que tales sistemas pueden plantear.
Los expertos también recomendaron que los Estados evalúen cuidadosamente el impacto en los derechos humanos antes de emplear la tecnología de reconocimiento facial.
“Además de ser ilegal, la elaboración de perfiles raciales también puede ser ineficaz y contraproducente como herramienta de aplicación de la ley”, advirtió el Comité. «Las personas sometidas a la aplicación de la ley discriminatoria tienden a tener menos confianza en la policía y, como resultado, están menos dispuestas a cooperar con ellos».
