La Ciudad Autónoma de Buenos Aires (Caba) se convirtió en el primer distrito del país en regular el uso de la tecnología de reconocimiento facial en la vía pública con el argumento de detectar y detener prófugos de la justicia. Así como su uso se implementa en otras ciudades del mundo, como Londres o extensivamente en China, el sistema también está prohibido en varios puntos de Estados Unidos, como San Francisco, Boston o Portland. En Caba hubo casos de falsos positivos (algunos graves) y este procedimiento es objetado por todas las asociaciones y organizaciones referentes en la temática ya que los algoritmos no son neutros ni perfectos y sus modelos se entrenan en base a ciertos criterios y sesgos. En diversos países, tanto personas de color como mujeres son, en su mayoría, víctimas de falsos positivos.
Detalla también que al reconocimiento facial “se agrega, también, un sistema basado en inteligencia artificial que lo llaman predictivo, para situaciones anómalas, y un sistema para apoyo a la tarea forense”.
Tanto la Fundación Vía Libre como otras organizaciones (Access Now, Amnistía Internacional, Asociación por los Derechos Civiles, Centro de Estudios Legales y Sociales, DATAS y el Observatorio de Derecho Informático Argentino) se mostraron en contra de la reglamentación del reconocimiento facial por varios aspectos: falsos positivos, la prohibición que se dio en otros países y el alerta que emitieron desde la Organización de las Naciones Unidas (ONU) tras la visita de un relator especial al país.
Falsos positivos y el estado de vigilancia continuo
Entre los principales problemas que se encuentran para el método de reconocimiento facial, Busaniche resalta el hecho de que el sistema no es perfecto, por lo que hay probabilidades de que identifique erróneamente a personas que no sean prófugas ni estén en conflicto con la ley; mientras que sobre el sistema predictivo remarca que puede identificar a personas que no estén cometiendo ningún acto ilícito.
En la Ciudad de Buenos Aires hubo casos al respecto, con distintos tenores. Como ejemplos, así como demoraron a una persona en la estación Callao de la línea B del subte y que perdió varias horas por un error en la carga manual de datos ya que su número de documento se confundió con el de un prófugo), otro hecho conocido fue el de Guillermo Ibarrola: una alerta emitida en una de las cámaras de la terminal de ómnibus de Retiro hizo que lo detuvieran y lo trasladaran a Bahía Blanca casi una semana. Estuvo a punto de ser llevado a un penal por un robo que no cometió.
Busaniche cuenta: “(Ibarrola) fue detenido y enviado a Bahía Blanca, donde supuestamente se lo estaba buscando, y fue abandonado durante una semana siendo un falso positivo del sistema de reconocimiento facial de la Ciudad de Buenos Aires. Fue detenido arbitrariamente y sometido a lo peor de este tipo de sistemas”.
En San Francisco, Estados Unidos, el sistema de reconocimiento facial está prohibido tanto para utilizarlo como para adquirirlo a futuro. A esa ciudad se sumaron Boston, Portland y San Diego, entre otras.
En enero comenzó a implementarse en Londres, a pesar de que estudios preliminares indicaron un alto porcentaje de falsos positivos en pruebas realizadas por la Policía Metropolitana de esa ciudad (arriba del 80 por ciento de los casos, según indicó el Daily Mail).
”En algunos distritos en Inglaterra se suspendió, por orden judicial, el uso del sistema”, aporta la presidenta de Fundación Vía Libre, para agregar que “en algunos casos, hay un sesgo marcado por parte de los algoritmos de reconocimiento facial. Fallan mucho más con las personas de tez más oscura. Por eso, el problema de este sistema es, también, de clase”.
El tema de los sesgos es otro de los pilares sobre los que se apoya la negativa a este tipo de sistemas alrededor del mundo. Acá entra la opción predictiva que se menciona en la reglamentación en Caba: la identificación de potenciales delitos en base a algoritmos preestablecidos.
“Se implementa un sistema automatizado, basado en el entrenamiento de algoritmos para identificar y levantar alertas sobre situaciones anómalas en la esfera pública. El algoritmo decide qué conductas son anómalas. Eso es una forma muy invasiva de intervención en el espacio público”, remarca la especialista.
Entrenamiento y sesgos
Los sistemas de reconocimiento facial cuentan con información de antemano para identificar patrones en los campos que analiza y determinar si son compatibles con los parámetros que ya tiene aprendidos.
La red aprende a identificar, aunque lo relevante es que pueda relacionar un dato nuevo (una cara, en este caso) que le ingresa al sistema a través de la cámara de vigilancia. En el reconocimiento facial se implementa un algoritmo para tomar ciertas proporciones de los rostros.
Algo a destacar también es el saneamiento de los datos. Es necesario que los conjuntos de datos (en este caso, de prófugos) estén actualizados para no caer, por ejemplo, en demorar a personas que ya tengan su proceso judicial resuelto.
Por su parte, Busaniche destaca que, el año pasado, un relator especial de la Organización de las Naciones Unidas (ONU) sobre el derecho a la privacidad llegó a Buenos Aires para evaluar la implementación del sistema. En su análisis, el enviado de la ONU Joseph Cannataci consideró que el método no podía implementarse sin haberse hecho evaluaciones de impacto en los derechos humanos de los ciudadanos.
En el informe preliminar para la ONU, Cannataci dijo: “El sistema está conectado a la Conarc (Consulta Nacional de Rebeldías y Capturas), la base de datos pública de personas buscadas por la justicia, compuesta por 46.000 archivos. Soy consciente de la necesidad de detener a las personas sospechosas de haber cometido delitos y llevarlas ante la justicia, pero no veo la proporcionalidad de instalar una tecnología con graves implicaciones para la privacidad para buscar en una lista de 46.000 personas que actualmente incluye a menores y delitos no graves y que no se actualice y compruebe cuidadosamente su exactitud”.
Los gigantes tecnólogicos que dan un paso al costado
En junio, en el marco de una ola de protestas en contra de la discriminación racial luego del asesinato de George Floyd y en el inicio del ‘Black Lives Matter’, IBM y Amazon decidieron dejar de trabajar en el reconocimiento facial para la vigilancia masiva.
“No vamos a tolerar el uso de ninguna tecnología para la vigilancia masiva, el perfil racial, las violaciones de los derechos humanos y las libertades básicas”, indicó, por entonces, el CEO de IBM, Arvid Krishna, en una carta enviada al congreso estadounidense.
Amazon, por su parte, puso en stand by por un año la utilización de su herramienta “Reckognition” al servicio de distintos departamentos de policía de Estados Unidos. “Esperamos que esta moratoria dé tiempo al Congreso para aprobar las reglas necesarias”, dijeron desde la empresa luego de tomar la decisión.
A ellos se sumó Microsoft, dando de baja el acceso a sus herramientas de reconocimiento facial hasta que no haya un debate de fondo para una posterior regulación por parte del gobierno estadounidense.
Sobre ello, Busaniche dice: “Cuando tenés a estas empresas que dicen públicamente que, por cuestiones éticas, van a dejar de venderle estas tecnologías a los gobiernos para la vigilancia en la esfera pública, es porque la proporcionalidad del impacto es demasiado grande y, más temprano que tarde, esto le va a traer problemas”.
“Nosotros pensamos que al reconocimiento facial hay que prohibirlo. Este tipo de sistemas no deben ser implementados. Sobre todo, sin haber hecho un análisis claro del impacto. La inseguridad es una preocupación para la sociedad, pero este sistema no trae más seguridad. Si no, pregúntenle a la persona que estuvo encerrada una semana, olvidada y víctima, erróneamente, de un sistema que funciona mal”, concluye Busaniche.
