Por Elisa d’Aquin Lema.
Egresada de Derecho de la Universidad Adolfo Ibáñez. Postulante a la Corporación de Asistencia Judicial.
A fines del año 2023 asistí a un conversatorio organizado por la Fundación Tremendas al que llamaron “¿La desinformación es violencia de género? que hablaba sobre como los medios de comunicación y, sobre todo las redes sociales pueden incidir en la reproducción sistemática de la violencia de género. Ya sea a través de publicidades machistas, en como el uso del lenguaje en un titular puede entregar un mensaje manifiestamente misógino y también como los mensajes en las publicaciones de las redes sociales puede reproducir una violencia muy arraigada y sexista de nuestra sociedad actual. Todo esto derivado de una violencia simbólica que muchas veces no tiene la intención de ser como tal, pero que, dadas las prácticas sociales, se convierten una vez más en violencia en contra de la mujer. Esto me hizo cuestionarme sobre si acaso no ocurre también esto con la tecnología y las distintas programaciones que le han efectuado para que funcionen con inteligencia artificial. Pero no solo en relación con la violencia de género, sino también en relación con los sesgos de género en general, por nacionalidad, color de piel, religión e incluso edad de las personas. De lo que analizaré a grandes rasgos en esta columna.
Cuando hablamos de violencia simbólica nos referimos a un término acuñado en los 70’ s por el sociólogo francés Pierre Bourdieu. Este se refiere a la naturalización de un sistema de dominación estructural a través de mensajes, valores, iconos y signos que perpetúan relaciones de desigualdad y discriminación en la sociedad. Estos elementos reproducen y difunden distintas formas de subordinación de un grupo de personas sobre otro. Es una forma de violencia más sutil y silenciosa que la violencia física o verbal, pero que existe y es igual de gravosa y perjudicial para nuestra sociedad. Los temas más investigados en relación con la violencia simbólica en Latinoamérica han sido en relación con las materias de estudio de género y feminismo, ciencias sociales y políticas y en el ámbito académico- pedagógico.
Sin embargo, un ámbito muy poco explorado en el mundo es respecto de la violencia simbólica que existe y puede llegar a existir en las tecnologías que utilizan inteligencia artificial. Esta se puede evidenciar, actualmente y, en mayor medida, respecto de los sesgos que existen en los algoritmos que se utilizan para crear Chatbots, asistentes virtuales o sistemas de IA para, por ejemplo, la selección de personal en una empresa, la elección de quiénes serán beneficiados por alguna beca o bono estatal, o incluso en el futuro podría usarse para el sistema judicial chileno en la búsqueda de imputados u otros ámbitos.
Pensando en estos ejemplos, la manera en que operan dichos sesgos es respecto de la exclusión de grupos históricamente discriminados, como son las mujeres, disidencias sexuales, pueblos originarios, personas con color de piel oscura o afroamericanas y personas mayores. Esto, porque los algoritmos se entrenan y aprenden a través de lo llamado machine learning, donde se recopila una gran cantidad de datos o data rondando por internet y, no es que la IA esté sesgada, pues, tal como señala la abogada María José Martabit, Fundadora de legaltech Theodora AI., sino que somos los seres humanos los que venimos con estereotipos y sesgos arraigados y luego programamos máquinas con esos datos sesgados. Entregando el ejemplo de que cuando buscó en una app entrenada con IA la imagen de un líder esta solo arrojó representaciones de hombres blancos, jóvenes, formales y lujosos.
Entonces, es claro que se corre el riesgo de crear programas que reproduzca sesgos, por ejemplo, si se decide contratar personas en una empresa mediante un programa que utilice IA es bastante probable que se elija a un hombre blanco y joven si la data que se utilizó para entrenar el programa es mayormente de ese tipo de personas y el resto de la población ha sido subrepresentada en ese cargo. También, los programas computacionales de seguridad y policiales de reconocimiento facial, donde se produce una evidente discriminación en contra de las personas con piel oscura y mujeres, pues se ha demostrado que arroja un mayor porcentaje de error al identificarlos. Otro ejemplo, más cotidiano aún, es el hecho de que las asistentes virtuales tienen siempre voces femeninas (Alexa, Siri y Google Assistant), manteniendo el estereotipo de mujeres asistentes, serviciales y sumisas. Lo mismo ocurriría si se entrena con un lenguaje sexista, racista o discriminatorio.
Estos ejemplos reflejan la importancia de revisar rigurosa y cuidadosamente los datos con que se entrenan los algoritmos para evitar implementar sistemas que reproduzcan sesgos existentes en la sociedad, que no es de ninguna manera evidente ni intencional, si no que, como ya se ha dicho, simplemente está arraigado en nuestra cultura; pero dado la época en que nos encontramos, me parece de extrema urgencia darle una mayor importancia al asunto.
Sin embargo, contrario a lo que parece, ya existen algunos esfuerzos prácticos por evitar la perpetuación de la violencia sistemática en cualquier nivel. Como es el caso del programa “Immersion Program for AI Anti-Bias Technology” de la legaltech Theodora AI. Que, “mediante el análisis de textos y frases, la tecnología detecta y mitiga sesgos en textos de documentos legales, judiciales, publicidad, contratos, correos y publicaciones en redes sociales, entre otros. Es capaz de identificar sesgos de género, edad, religión, orientación sexual, discapacidad, características socioeconómicas y personales, creando métricas y diagnosticando el riesgo reputacional de acuerdo con el tipo de sesgo predominante en la organización”.
Luego, otras formas que se han empezado a aplicar en países como España, EE. UU, Reino Unido, Canadá y la Unión Europea es, la implementación de auditorías de algoritmos o auditorías algorítmicas; tal como se hacen auditorías contables en las empresas; para evaluar y probar que no se produzca ningún tipo de sesgo que reproduzca, en mi opinión, nuevamente, violencia simbólica en otra institución. Dichas auditorías pueden ser internas, es decir, realizadas por personal de la institución sujeta a la evaluación, externas, ósea, realizados por una empresa contratada para el efecto o mediante auditorías participativas donde varios actores internos y externos de la institución pueden opinar y discutir sobre los efectos de los algoritmos.
En mi opinión, es necesario actualmente que todos los sistemas que estén programados con IA estén sujetos a auditorías cada cierto período de tiempo, pero esto no puede quedar a criterio solo de los particulares porque así, tal como señala la activista e investigadora de EE. UU con relación a la IA, Joy Buolamwini, “estaríamos dando carta blanca a las empresas de IA” para que nos usen de conejillos de indias. Pudiendo hacer uso y abuso de su poder a nivel corporativo y efectuar acciones que disten de la ética y el bienestar social. Pero, además, considero que es sumamente necesario que se firmen tratados internacionales acerca de la inteligencia artificial y sus implicancias sociales, éticas y políticas, para evitar seguir perpetuando las distintas violencias simbólicas a los grupos de personas históricamente discriminados y abandonados; así como también crear una cierta uniformidad en las legislaciones entre los estados entorno a esta materia.
Bibliografía
López Safi, Silvia Beatriz La violencia simbólica en la construcción social del Género ACADEMO, vol. 2, núm. 2, diciembre-, 2015 Universidad Americana.
Peña Collazos, Wilmar. (2009). La violencia simbólica Como reproducción Biopolítica del poder. Revista Latinoamericana de Bioética, 9(2), 62-75. Recuperado el 27/05/2024, de: http://www.scielo.org.co/scielo.php?script=sci_arttext&pid=S165747022009000200005&lng=en&tlng=es.
Nada Sin Nosotras. Estados de Latinoamérica reconocen la violencia simbólica y buscan sancionarla. Recuperado el: 24/05/2024 de: https://nadasinnosotras.cl/2024/04/19/estados-de-latinoamerica-reconocen-la-violencia-simbolica-y-buscan-sancionarla/
Conversatorio online de Mujeres En Finanzas sobre Theodora AI y el Anti – Bias World Challenge. Martes 14 de mayo de 2024.
Red Mujeres Alta Dirección. Theodora IA: la tecnología que busca acabar con los sesgos al interior de las organizaciones. Recuperado el 23/05/2024 de: https://redmad.cl/articulos/theodora-ia-la-tecnologia-que-busca-acabar-con-los-sesgos-al-interior-de-las-organizaciones/
Mota Sánchez, Eva María y Herrera Expósito, Esther. Auditoría algorítmica en la inteligencia artificial en el sector público. Recuperado el 25/05/2024 de: http://sedici.unlp.edu.ar/handle/10915/155883
MIT Technology Review. Nota escrita por Heikkilä, Melissa. Joy Buolamwini: «Estamos dando carta blanca a las empresas de IA». Recuperado el 25/05/2024 de: https://www.technologyreview.es//s/15894/joy-buolamwini-estamos-dando-carta-blanca-las-empresas-de-ia
MIT Technology Review. “Joy Buolamwini: Cómo la IA perpetúa la violencia estructural». Recuperado el 25/05/2024 de: https://www.technologyreview.es/s/15899/como-la-ia-perpetua-la-violencia-estructural
