Siete acciones que líderes del cambio social y personas que desarrollan sistemas de aprendizaje automático pueden adoptar para construir una inteligencia artificial con perspectiva de género para un mundo más justo.
En 2019, Genevieve (coautora de este artículo) y su esposo aplicaron para la misma tarjeta de crédito. A pesar de tener una calificación crediticia ligeramente mejor que su esposo y los mismos ingresos, gastos y deuda, la compañía crediticia le impuso a ella un límite de crédito equivalente a casi la mitad del de su esposo. Esta experiencia es similar a otra que captó la atención de los medios más tarde ese año: esposo y esposa compararon sus límites de gasto de sus Apple Card y encontraron que la línea de crédito de él era veinte veces mayor al de ella. Las personas de servicio al cliente no pudieron explicar por qué el algoritmo consideró a la esposa significativamente menos solvente.
Muchas instituciones toman decisiones basadas en sistemas de inteligencia artificial (IA) que utilizan aprendizaje automático (ML, por sus siglas en inglés), en el que series de algoritmos toman y aprenden de cantidades masivas de datos para encontrar patrones y hacer predicciones. Estos sistemas informan cuánto crédito las instituciones financieras ofrecen a diferentes clientes, a quiénes prioriza el sistema de salud para aplicar vacunas de COVID-19, y a qué candidatos llaman las compañías para una entrevista. Sin embargo, los sesgos de género predominan en estos sistemas y tienen un impacto profundo, a corto y largo plazo, en la seguridad psicológica, económica y de salud de las mujeres. También puede reforzar y amplificar prejuicios y estereotipos de género, dañinos, ya existentes.
En este cierre de mes que conmemora la historia de la mujer, líderes del cambio social —que incluye a investigadoras, investigadores y profesionales con conocimientos especializados de genero— y personas desarrolladoras de sistemas de ML, deben preguntarse: ¿cómo podemos construir una inteligencia artificial con perspectiva de género para fomentar la equidad, en vez de que integre y amplíe los sesgos de género?
La fuente de los sesgos de género en la IA
Los sistemas de IA tienen sesgos porque son creaciones humanas. Las personas que toman decisiones para informar a los sistemas de IA y quienes forman parte del equipo desarrollador configuran cómo se desarrollará el sistema. Y, previsiblemente, existe una enorme brecha de género: solo el 22% de las personas que trabajan en IA y en la ciencia de datos son mujeres —y tienen más probabilidad de ocupar empleos asociados con un menor estatus.
A un nivel más granular, los humanos generan, recaban y etiquetan los datos que van a los conjuntos de datos. También son los humanos quienes determinan qué conjuntos de datos, variables y reglas aprenden los algoritmos para hacer predicciones. Estas dos etapas pueden incorporar sesgos que después se integran a los sistemas de IA.
En términos de sesgos de género de los datos, los puntos de datos representan fotografías del mundo que habitamos, y las grandes brechas de datos de género que vemos, son en parte causadas por la brecha digital de género. Por ejemplo, acceden a internet desde un teléfono móvil cerca de 300 millones de mujeres menos, en comparación con hombres. Y mujeres de países de ingresos bajos y medios tienen 20% menos probabilidades de poseer un teléfono inteligente que los hombres. Estas tecnologías generan datos sobre las personas usuarias, así que el hecho de que las mujeres tengan menos acceso inherentemente distorsiona los conjuntos de datos. Incluso cuando se generan los datos, los humanos que los recopilan deciden qué recabar y cómo hacerlo. La industria que mejor ilustra este problema es la de la salud (otra industria con un desbalance de género en su liderazgo): los hombres y sus cuerpos han sido por mucho tiempo el estándar para las pruebas médicas. Las mujeres no son consideradas porque su cuerpo es juzgado como demasiado complejo y variable. En estudios con animales ni siquiera se incluyen hembras, aun cuando tratan de enfermedades con mayor prevalencia en mujeres. Esta diferencia se refleja en los datos médicos.
Los datos que no están desglosados por sexo y género (ni por otras identidades) presentan otro problema. Estos retratan un panorama impreciso que oculta diferencias importantes entre personas de diferentes identidades de género, y oculta una potencial sobrerrepresentación o subrepresentación. Por ejemplo, pocos conjuntos de datos urbanos monitorean y analizan datos de género, por lo que los programas de infraestructura con frecuencia no tienen en cuenta las necesidades de las mujeres.
Incluso cuando sí existen puntos de datos representativos, estos podrían tener prejuicios integrados y reflejar desigualdades en la sociedad. Regresando a la industria de los créditos de consumo, los primeros procesos usaban el estado civil y el género para determinar la solvencia. Con el tiempo, estas prácticas discriminatorias fueron reemplazadas por otras consideradas más neutrales. Pero para entonces, las mujeres tenían un menor historial financiero formal y sufrían de discriminación, impactando su habilidad para obtener crédito. Los conjuntos de datos que monitorean límites crediticios de las personas registran estas tendencias discriminatorias.
El etiquetado de datos puede ser subjetivo, e integran sesgos y perspectivas dañinas también. Por ejemplo, la mayoría de los datos demográficos terminan siendo etiquetados con base en categorías simplistas y binarias de mujer-hombre. Cuando una clasificación de género colapsa el género de esta manera, reduce el potencial de que la IA refleje la fluidez de género y la identidad de género propia.
En términos de sesgos de género en los algoritmos, uno de los primeros pasos al desarrollarlos es la selección de conjuntos de datos de capacitación. Otra vez regresemos a la industria de créditos de consumo: cuando los sistemas de IA que determinan la solvencia aprenden de datos históricos, registran el patrón de que las mujeres reciben menos crédito que los hombres. Reproducen el mismo acceso desigual al crédito a partir del género (y la raza), como en el caso citado de Genevieve y de la noticia de las Apple Card. Relacionado con esto, el proyecto de investigación Gender Shades (Sombras de Ggénero) encontró que los sistemas comerciales de reconocimiento facial usaron conjuntos de imágenes carentes de diversidad y de muestras representativas. Estos sistemas clasificaron erróneamente a las mujeres con mucha más frecuencia que a los hombres. En particular, las mujeres con piel más oscura fueron incorrectamente clasificadas con una tasa de error de 35%, en comparación con 0.8% de hombres con pieles más claras.
Las personas que desarrollan estos sistemas le dicen a los algoritmos queé variables deben considerar cuando toman decisiones, pero estas variables e indicadores pueden penalizar a ciertas identidades o comunidades. Por ejemplo, una plataforma tecnológica en línea de contratación, Gild (adquirida desde entonces por Citadel), desarrolló un sistema de IA para ayudar a las personas empleadoras a clasificar a los candidatos y las candidatas para empleos de programación. Gild no solo evaluó información tomada de fuentes tradicionales como el currículum, sino que también uso un indicador llamado “datos sociales” (datos generados por acciones en el ámbito digital) para medir qué tan integral era la persona para la comunidad digital. En este caso, los datos sociales se tomaron del tiempo empleado en compartir y desarrollar código en plataformas como GitHub. Pero factores como las expectativas sociales en torno al trabajo no remunerado en casa, que suelen sobrellevar las mujeres, se traduce en que las mujeres tienen menos tiempo para chatear en línea. Las mujeres, por lo tanto, producen menos de estos datos sociales. Además, las mujeres pueden asumir identidades de hombre en plataformas como GitHub para evitar preocupaciones de seguridad asociadas al sexismo o específicas al género (como acoso selectivo y trolling), entre otras formas de sesgo. En vez de eliminar los sesgos humanos, Gild creó un algoritmo predispuesto a penalizar a las mujeres y clasificar sistemáticamente a las candidatas por debajo de sus contrapartes masculinas.
Impactos de la IA sesgada por género
La IA sesgada por género no solo tiene un impacto inmenso en las personas, también puede contribuir a un retroceso en la equidad de género y el empoderamiento femenino. Como parte de nuestro trabajo en el Berkeley Haas Center for Equity, Gender and Leadership (Centro Berkeley Haas para la Eequidad, Ggénero y Lliderazgo) para mitigar el sesgo en la inteligencia artificial, monitoreamos el sesgo en instancias públicas disponibles en sistemas de IA que utilizan ML. En nuestro análisis de alrededor de 133 sistemas con sesgo a lo largo de diferentes industrias, desde 1988 a el día de hoy, encontramos que el 44.2% (59 sistemas) demuestra tener un sesgo de género, y el 25.7% (34 sistemas) presentan un sesgo tanto de género como racial.
Los sistemas de IA con sesgo de género tienen seis impactos principales: de los 59 con sesgo de género, el 70% resultó en un servicio de menos calidad para mujeres y personas no binarias. Los sistemas de reconocimiento de voz, utilizados cada vez más en industrias automotrices y de salud, por ejemplo, con frecuencia funcionan peor con mujeres. En segundo lugar, la asignación injusta de recursos, información y oportunidades para mujeres se manifestó en el 61.5% de los sistemas que identificamos con sesgo de género, incluidos el software de contratación y sistemas de publicidad que restan prioridad a las solicitudes de mujeres.
El refuerzo de estereotipos y prejuicios dañinos ya existentes (en el 28.2% de sistemas con sesgos de género), se agrava por los circuitos de retroalimentación entre las entradas y salidas de datos. Por ejemplo, el software de traducción, que aprende de enormes cantidades de texto en línea, ha tomado términos históricamente neutrales de género (como “the doctor” o “the nurse” en inglés) y les adjudica un género en la traducción (“el doctor” y “la enfermera”, respectivamente, en español), reforzando el estereotipo de doctores hombres y enfermeras mujeres. De igual manera, encontramos que los sistemas de IA —comúnmente en servicios relacionados a internet— resultan en un tratamiento despectivo y ofensivo (o incluso de supresión) hacia identidades de género ya marginalizadas (6.84%). Por ejemplo, usar géneros binarios en un sistema de clasificación de género resulta en una visión simplista e imprecisa del género en herramientas tales como: sistemas de análisis de datos.
Además, ciertos sistemas afectan el bienestar físico y mental de las mujeres y personas no binarias. Los sistemas con sesgo de género usados en las industrias de la salud, de asistencia social y la automotriz, en particular, representan desventajas para la seguridad física (18.8% de los sistemas con sesgo de género) y riesgos a la salud (3.42%). Los sistemas de IA que apoyan la detección del cáncer de piel, por ejemplo, batallan para detectar melanoma en personas de raza negra, lo que pone en riesgo a mujeres de esta raza que ya resultan marginadas por la industria de la salud.
Lo que las personas líderes del cambio social pueden hacer.
Priorizar la equidad de género y la justicia como una meta principal para los sistemas de aprendizaje automático, puede crear un impacto en cascada en decisiones de diseño y administración. Debemos reconocer que los sistemas de aprendizaje automático no son objetivos. Incluso los sistemas diseñados para crear el bien (por ejemplo, un sistema construido para hacer evaluaciones de solvencia crediticia o hacer contrataciones más equitativas) pueden ser propensos a temas de sesgo, tal y como sus creadores humanos. Existen roles para líderes del cambio social y también para líderes en organizaciones que desarrollan sistemas de aprendizaje automático para diseñar ML con perspectiva de género, y fomentar la equidad de género.
Las personas líderes del cambio social pueden:
1. Usar prácticas feministas de datos para ayudar a llenar las brechas de datos de género.
Como documentan Catherine D’Ignazio y Lauren Klein en su libro Data Feminism (Feminismo de datos), las prácticas feministas de datos incluyen analizar cómo opera el poder y usar datos para desafiar las estructuras desiguales de poder, dejar atrás los sistemas binarios de género, valorar múltiples formas de conocimiento y sintetizar múltiples perspectivas dando prioridad al saber local e indígena. El feminismo de datos puede ayudar a centrar las voces y experiencias de personas marginadas, incluidas mujeres y niñas.
Como ejemplo: Digital Democracy (Democracia Ddigital), una organización que trabaja con comunidades marginadas para defender sus derechos a través de la tecnología, trabajó con grupos comunitarios locales como la: Commission of Women Victims for Victims (Comisión de mujeres víctimas para otras víctimas, conocida con las siglas KOFAVIV) para construir un sistema seguro para recabar datos de violencia de género en Haití. El sistema permitió a las mujeres locales monitorear, analizar, mapear y compartir datos.
Otro paso importante es reconocer y trabajar para eliminar prácticas de datos dañinas, como se indica en el Feminist Data Manifest-No (Manifiesto-No de datos feministas).
2. Presta tus conocimientos al campo de IA con perspectiva de género, aboga por la capacitación de instrucción básica en IA y súmate a la conversación. Al integrar conocimientos de género a los sistemas de IA, las personas que desarrollan y dirigen el aprendizaje automático podrán entender mejor los problemas y las soluciones para reducir el sesgo de género.
Esto comienza con la promoción de capacitaciones de alfabetismo en IA entre personas expertas en asuntos de género, y participando en la conversación solicitando sesiones y talleres de IA y asuntos de género a quienes organizan congresos. No fue hace mucho, por ejemplo, que los expertos en cuestiones de género estaban ausentes de discusiones de inversión de impacto. Talleres como los del Criterion Institute (Instituto Cretirion), que incluían capacitación en conceptos de inversión financiera y consideraciones de género, ayudaron a los investigadores y profesionales con conocimientos de género a entender mejor el campo de la inversión de impacto, además de participar en —y a la larga mejorar— trabajos e iniciativas de inversión con perspectiva de género.
3. Al considerar o usar sistemas de IA para atender las brechas de género, piensa críticamente acerca de quién está representado en el equipo desarrollando el sistema, y qué datos están usando y cómo los usan para desarrollar el algoritmo.
El uso de IA para atender retos globales de desarrollo, incluida la inequidad de género, va en aumento, y organizaciones de la sociedad civil se están sumando. Por ejemplo:, Women’s World Banking (Banco Mmundial de la Mmujer) y Mujer Financiera, usan ML para desarrollar la inclusión financiera para mujeres. Es importante insistir y apoyar a desarrolladores de aprendizaje automático a centrar las voces de mujeres y personas no binarias en el desarrollo, la creación y administración de estos sistemas de IA. También, haz tu parte y evalúa potenciales sistemas de IA antes de usarlos para comprobar si tienen un sesgo de género u otras consecuencias indeseadas.
Lo que las personas programadoras de ML pueden hacer.
Cuando los sistemas de aprendizaje automático se construyen para el bien, pueden evadir un análisis crítico sobre sesgos y el potencial de consecuencias no deseadas. Tener la intención de crear el sistema para el bien no es suficiente. Para ayudar a investigadores y líderes en negocios y a organizaciones desarrollando sistemas de IA a catalizar un ML con perspectiva de género, los líderes del cambio social deben alentar a sus asociados y asociadas en el desarrollo a buscar y promover lo siguiente:
1. Integrar y mejorar la diversidad de género, la equidad e inclusión entre los equipos que programan y gestionan los sistemas de IA.
Esto es necesario si creemos en el potencial de la IA para hacer posible un mundo más justo. Un estudio reciente mostró que los grupos demográficamente diversos son mejores para bajar los sesgos en los algoritmos. Emprende acciones para asegurar que la diversidad sea una prioridad central entre el equipo de líderes, y para actualizar las políticas, prácticas y estructuras institucionales que apoyan la diversidad e inclusión.
2. Reconoce que los datos y los algoritmos no son neutrales y luego haz algo al respecto.
Documenta lo que está en el conjunto de datos de tu ML (por ejemplo, a través de la herramienta Datasheets for Datasets) y en tus modelos de ML (usando tarjetas modelo). Evalúa si los conjuntos de datos representan las diferentes identidades de género, entre otras inequidades subyacentes que reflejen la realidad, pero que a final de cuentas son problemáticas. Finalmente, asóciate con expertos en género para integrar principios y enfoques feministas de datos, diagnostica y atiende los posibles impactos de género de un algoritmo y audita a los algoritmos a partir de una perspectiva de género.
3. Coloca en el centro del desarrollo de sistemas de IA a las voces de personas marginadas de la comunidad, incluidas las mujeres y personas no binarias.
Apoya la investigación y aprende de otros sectores —como de la energía fuera de la red y los combustibles más limpios para cocinar— que han integrado el diseño participativo y la investigación de acción participativa en el desarrollo de sus tecnologías.
4. Establece enfoques de gobernanza sensibles al género para una IA responsable.
Cuando se desarrollen estructuras de gobernanza ética para la IA (un consejo de ética y liderazgo de IA), asegúrate de que exista diversidad de género. Dentro de los códigos y principios responsables o éticos de la IA, piensa críticamente sobre cómo incorporar la justicia y la equidad relativa al género y a otras identidades marginadas (ver este reporte de la UNESCO para guiar la integración de consideraciones de igualdad de género a los principios de IA).
Estas acciones no son exhaustivas, pero proveen un punto de inicio para crear un ML con perspectiva de género que fomente la equidad. No perdamos esta oportunidad para revolucionar la forma como pensamos, diseñamos y gestionamos los sistemas de IA, para así buscar un mundo más justo hoy y para las generaciones del futuro.
Autores originales:
- Genevieve Smith es directora adjunta del Center for Equity, Gender and Leadership (Centro para la Equidad, Género y Liderazgo; abreviado EGAL en inglés) en la escuela de negocios Haas de la Universidad de California, Berkeley. Por más de una década, ha realizado investigaciones y ha trabajado para fomentar la equidad de género y el empoderamiento económico de las mujeres. Es la autora principal del libro de tácticas del EGAL sobre cómo reducir el sesgo en la IA.
- Ishita Rustagi es la analista de operaciones y de estrategias de negocios del Center for Equity, Gender and Leadership en la escuela de negocios Haas de la Universidad de California, Berkeley, donde apoya el desarrollo de recursos, herramientas y liderazgo intelectual para fomentar la diversidad, equidad e inclusión. Es coautora del libro de tácticas del EGAL sobre cómo reducir el sesgo en la IA.
Este artículo es contenido original de la revista de Stanford Social Innovation Review publicado en la edición verano 2021.
- Traducción del artículo When Good Algorithms Go Sexist: Why and How to Advance AI Gender Equity
Recomendado para ti
| El caso de la inteligencia artificial causal |
El uso de la inteligencia artificial para predecir el comportamiento puede conducir a errores políticos devastadores. Para ayudar a identificar las palancas más efectivas para el cambio, los programas de salud y desarrollo deben aprender a aplicar modelos causales que expliquen mejor por qué las personas se comportan de cierta forma. |
|
La aplicación de la perspectiva de género al emprendimiento social
|
El sector social prosperará si adopta enfoques menos patriarcales y más colaborativos que se centren en el cambio sistémico a largo plazo. |