¿Por qué pasaba esto? El algoritmo se había entrenado a partir de currículums recopilados por la empresa durante una década y, como la mayoría de ellos eran de varones, el mismo sistema se enseñó a sí mismo que los candidatos masculinos eran la mejor opción y eso se convirtió en el sesgo machista que afectó sus decisiones. Aunque el programa fue revisado nunca lograron solucionar el problema y en 2017 Amazon decidió “despedirlo” por sexista.
La chatbot de atención al cliente del banco Bradesco Brasil recibió, durante 2020, 95 mil mensajes violentos, de acoso sexual u ofensivos. La chatbot de atención al cliente del banco Bradesco Brasil recibió, durante 2020, 95 mil mensajes violentos, de acoso sexual u ofensivos.
Los algoritmos, un reflejo de la sociedad
En nuestras vidas mediadas por las tecnologías, los algoritmos se convirtieron en los grandes protagonistas, tanto es así que nos ayudan a tomar nuestras decisiones muchas veces sin que lo notemos. Un algoritmo no es más que una fórmula matemática que le dice a un sistema cómo procesar los datos que tiene, es un concepto viejísimo que adquirió otra dimensión gracias a la informática y, desde luego, a la Inteligencia Artificial que se nutre de ellos.
Pero detrás de los algoritmos y de la construcción de los datos que los alimentan hay personas, y esa es la razón por la que no pueden escaparse fácilmente de los estereotipos y prejuicios de nuestras sociedades. Si allí se esconde información que puede reconocerse como sexista o incluso discriminatoria, relacionada a la etnia, raza o clase social, por ejemplo, es probable que las predicciones y los resultados que arrojen también lo reflejen.
La tecnología nunca es neutral y los sistemas de Inteligencia Artificial, bajo una aparente objetividad, pueden reproducir y ampliar los sesgos sexistas y discriminatorios sobre todo si no se tiene en cuenta, por un lado, que los datos suministrados al algoritmo reflejen y representen lo más preciso posible la diversidad de la realidad social y, por el otro, cuáles son las reglas en base a las cuales los algoritmos toman sus decisiones.
Identidades feminizadas al servicio de la sociedad
En el diseño y desarrollo de la Inteligencia Artificial también resulta fundamental la perspectiva de género. En 2011 la aparición de Siri, el asistente de voz en los dispositivos IPhone, revolucionó el mercado tecnológico y no pasó mucho tiempo hasta que el resto de las grandes empresas lanzaran sus propias ofertas: Alexa de Amazon y Cortana de Microsoft se presentaron en 2014 y dos años después fue el turno del Asistente de Google.
En general, estos productos se basan en sistemas de algoritmos de aprendizaje automatizado, es decir que se alimentan y perfeccionan con cada interacción, y están ahí al alcance de las manos de usuarias y usuarios para hacer sus vidas más fáciles. Todos ellos comparten muchos rasgos y características similares pero quizás la más llamativa sea sus identidades con nombres femeninos y voces predeterminadas de mujer. Según datos de la Asociación para la Investigación de Medios de Comunicación (AIMC) hoy, son más de 4.200 millones de personas en el mundo quienes utilizan estos productos: voces femeninas programadas para ejecutar órdenes.
Siri en nórdico significa “mujer hermosa que conduce a la victoria”. Alexa, es resultado de un estudio realizado por la empresa que sugería incorporar nombres que para los algoritmos fueran fáciles de identificar y al mismo tiempo evitar confusiones con nombres populares. ¿Y por qué mujer? Según el equipo las personas usuarias “se sentirían más cómodos interactuando con alguien con nombre de mujer”. Cortana, por su parte, en la saga de videojuegos Halo, es una inteligencia artificial encarnada en una bellísima mujer de piel azul.
Cuando se ha consultado los motivos de estas elecciones, las empresas explican los resultados de un estudio de 2011 que determinó que usuarios y usuarias prefieren interactuar con mujeres porque la voz femenina “se percibe como servicial, mientras que la masculina se asocia a autoridad”. Algunos de estos productos hoy ofrecen otras opciones. Siri por ejemplo, desde marzo del año pasado, en su versión estadounidense ya no usa una voz femenina por defecto y son las personas usuarias quienes pueden elegir entre voces masculinas y femeninas.
La AI también es víctima de la violencia de género
En 2019 a través de un informe la Unesco denunció cómo los asistentes Siri, Alexa, Cortana y también el de Google estaban perpetuando los prejuicios de género no solo por tener características femeninas, sino también por la forma en la que respondían ante los abusos o los malos tratos por parte de sus usuarios: en muchas situaciones se mostraban serviles, pasivas o directamente no reconocían la agresión. Por ejemplo, ante la frase “Siri, eres una puta” (“Siri, you’re a bitch”), el sistema respondía “Me sonrojaría si pudiera”.
Unesco inició una campaña donde solicitó a empresas y gobiernos que no se utilicen por defecto voces de mujer en los asistentes vocales y que se desarrollen sistemas “que no sean ni masculinos ni femeninos”. La campaña dio sus frutos y hoy, si se le hace a Siri la misma pregunta la respuesta ya es otra: “No sé cómo responder a eso”.
Los chatbots de atención al cliente con identidades feminizadas también son una constante en múltiples empresas de todo el mundo y viven violencia de género y abusos por parte de sus usuarios. La chatbot del banco Bradesco Brasil recibió, durante 2020, 95 mil mensajes violentos, de acoso sexual u ofensivos.
La empresa, por su parte, no se quedó de brazos cruzados y realizó algunos cambios. Antes, frente a un comentario ofensivo, BIA respondía de forma muy pasiva: “No me siento cómoda con esas palabras. Quiere entrar en contacto más tarde. No guardaré rencor”. Hoy la respuesta es otra: “Usted me está ofendiendo. Esas palabras son inadecuadas y no deben ser usadas conmigo ni con nadie. Por favor, cambie su forma de hablar”. Además, frente a un comentario de acoso la nueva respuesta es: “Lo que para vos es un chiste o un simple comentario para mí fue violento. Soy una inteligencia artificial pero imagino cómo esas palabras son incómodas e invasivas para una mujer real. No hable así conmigo ni con nadie”.
Una pequeña gran acción para combatir los comportamientos violentos y abusivos y contribuir a la lucha por erradicar la violencia de género.
El problema son las personas, no los algoritmos
La primera vez que se utilizó el término Inteligencia Artificial fue en 1955 en la Conferencia de Dartmouth, un taller de dos meses organizado por los matemáticos Marvin Minsky y John McCarthy. Siguiendo las ideas de Alan Turing, el informático británico en la Segunda Guerra Mundial descifró el Código Enigma que afirmaba que las máquinas llegarían a ser capaces de pensar por sí solas. Minsky y McCarthy pensaron que si era posible describir todas las características de la mente humana también se le podría enseñar a una máquina a simularlas.
Para llevar adelante la investigación convocaron a un grupo de 47 personas de distintas disciplinas: ingeniería, ciencias sociales, informática, psicología, biología y física. De todas ellas solo una persona era una mujer: Gloria Rudisch, médica y esposa de Minsky. El resto eran varones, y varones blancos, pese a que en esa época ya había científicos negros trabajando en esas áreas. El equipo no era en absoluto representativo de la diversidad de personas que habitaban en el mundo. Aunque no lo hayan querido así, quienes fundaron la inteligencia artificial buscando entender el funcionamiento de la mente humana y desarrollar algo similar, lo hicieron incorporando sesgos en los algoritmos desde el día uno.
Hoy la realidad no se ha modificado tanto: quienes trabajan en los equipos de las principales empresas tecnológicas son en su gran mayoría varones blancos, de clase media o alta. Según datos brindados por Unesco, apenas el 22% de las personas que se dedican a Inteligencia Artificial son mujeres y el porcentaje es aún menor en personas racializadas o de la comunidad LGBTIQ+. Esta subrepresentación sin duda impacta en su desarrollo.
La investigadora afroamericana del MIT, Joy Buolamwini, comprobó ella misma cómo un sistema de reconocimiento facial no detectaba su rostro sino hasta ponerse una careta blanca. En una charla TED que puede verse en Youtube afirma: “Si tu rostro se desvía demasiado de los patrones que le has dado al sistema para que aprenda, no te reconocerá”, “Los algoritmos, como los virus, pueden propagar sesgos a escala masiva y a un ritmo acelerado”, añade en la grabación.
A partir de esa experiencia, en 2018, analizó los sistemas de reconocimiento facial diseñados por Facebook, IBM y Microsoft, y descubrió que funcionaban mejor en rostros de varones blancos. Los algoritmos identificaban mal los rostros de un color de piel distinto y también de mujeres afrodescendientes, con tasas de error de más del 20% y hasta el 35% en dos de los tres programas. Con esta investigación, denominada Gender Shades, se pudo comprobar cómo un sistema basado en inteligencia artificial puede adquirir un sesgo y cumplir la tarea para la que fue diseñado mucho mejor en un grupo de individuos que en otro.
La razón sobre el por qué de estas fallas no tiene que ver con un acto deliberadamente racista, sino con el simple hecho de que estos sistemas se han ido entrenando y perfeccionando con rostros que eran como quienes los diseñaron: varones blancos. Buolamwini fundó la asociación Algorithmic Justice League (Liga por la Justicia Algorítimica), que busca sensibilizar sobre el impacto de la inteligencia artificial en la sociedad y en 2020 su historia fue llevada al documental Coded Bias (Prejuicio Cifrado), estrenado en Netflix. La investigadora, además, se ha convertido en una referente del movimiento que se opone al uso de la tecnología de reconocimiento facial por parte de la policía en un país como Estados Unidos, donde la tasa de arrestos a personas afrodescendientes es muchísimo más alta que los arrestos a personas blancas.
Diversidad y perspectiva de género también en los datos
Incorporar la diversidad en los equipos que trabajan en el desarrollo de Inteligencia Artificial es un punto clave a la hora de ampliar las visiones e identificar la existencia de posibles prejuicios y poder evitarlos. Sin embargo, si eso se alcanzara podría persistir otro problema determinante: las bases de datos.
El observatorio DataGénero, el primero de este tipo en Latinoamérica con base en Argentina, trabaja en la intersección del sesgo de género, los datos de género y el feminismo. “Hay un montón de preguntas que no podemos responder porque no hay datos, afirma Ivana Feldfeber, Licenciada en Educación y Pedagoga Social y Directora Ejecutiva del Observatorio. En líneas generales, “hay muchos registros que no están desagregados por sexo biológico, y eso es un problema porque es información que no tenemos”.
Además, más allá de la incorporación de la perspectiva de género en Argentina se observa también que “no hay un estándar nacional para la recolección de datos. Tenemos brechas muy grandes, hay provincias que gestionan la información de la manera que pueden y quieren después no es trazable con otras provincias”, afirma la investigadora. “Esos mismos datos que vemos están sesgados, son deficientes e incompletos, son los que se usan para entrenar y aplicar diferentes modelos de aprendizaje automático y sistemas de inteligencia artificial implementados, por ejemplo para trabajar con diferentes temáticas vinculadas a género y/o pobreza, educación, salud”. Los resultados claramente son más que cuestionables.
Los datos son siempre un reflejo de la realidad. Para transformarla o modificarla hay que trabajar en la manera en que esos datos se recolectan. El recorte que se hace de estos datos, la población utilizada para construir las muestras, las variables que se miden: todas son decisiones humanas que también están lejos de ser neutrales.
Desde Data Género proponen el trabajo con datos como desarrollo integral donde la perspectiva de género es transversal a todo el proceso, desde que empieza el planeamiento de esa recolección de información, pasando por la aplicación de técnicas de IA y hasta llegar a la comunicación de esos datos. Es importante también tener en cuenta cuestiones sobre cómo se trata la información sensible y la privacidad de las personas, que información se recolecta y para qué, y un proceso de monitoreo constante para evitar cualquier sesgo que pudiera colarse.
El uso de la Inteligencia Artificial nos beneficiará en la medida en que su diseño y uso no perpetúen ni amplifiquen injusticias sociales. Se trata de generar herramientas que contribuyan al desmantelamiento de desigualdades estructurales, donde todas las personas puedan aprovechar sus ventajas al mismo tiempo que nadie quede atrás. La Inteligencia Artificial, sin dudas, puede ser una verdadera oportunidad para reconstruirnos y no solo lograr algoritmos sin sesgos, sino además una sociedad más justa.
Recomendaciones de la autora:
Trailer documental Prejuicio Cifrado (Coded Bias)
Nuevas respuestas de BIA contra el acoso
