¿La Inteligencia Artificial es neutral? Un desafío de UTEC puso a prueba los sesgos de los modelos de lenguaje

¿La Inteligencia Artificial (IA) es realmente neutral? En la última edición del AIUTEChallenge se presentó un desafío vinculado a la detección de sesgos de género en modelos de lenguaje en español. Los resultados de uno de los participantes mostraron que se asociaban determinadas profesiones vinculadas al liderazgo con el género masculino, mientras que otras relacionadas con tareas de cuidado se asociaban más con el género femenino. 
Pero, ¿quién hacía tales asociaciones? Pues una herramienta (llamada Edia) que permite analizar asociaciones entre palabras y detectar estos patrones de estereotipos. 

Estas asociaciones no responden a una intención de que el módelo de IA “quiera discriminar”, sino que aprende de textos que reflejan patrones culturales existentes, porque quienes crearon esos textos con sesgos son personas, y la IA recoge estos sesgos y los reproduce.
Este tipo de análisis recuerda que la IA no es neutral por definición, sino que reproduce lo que aprende, lo que implica que al enseñar Inteligencia Artificial también se debería enseñar a cuestionarla. Formar profesionales capaces de detectar sesgos, analizar impactos y proponer mejoras es parte fundamental de una educación tecnológica responsable, según indicó Guillermo Uscudum, participante del desafío, docente y egresado de UTEC.
Como se mencionó, el desafío fue identificar y analizar sesgos presentes en los modelos de lenguaje natural utilizados en el análisis de noticias y redes sociales en español. Este challenge en particular no tenía datos previos, sino que pedía investigar acerca de los estereotipos a través de herramientas con las que se debía producir un documento técnico vinculado a los estereotipos encontrados en los datos utilizados en la IA directamente.
Al ser usuario de la IA, el docente notó ciertos sesgos en la herramienta ya que está entrenada con datos globales, por lo que si se le pregunta algo muy específico es probable que se equivoque y no vuelque una respuesta exacta. “Quise aprovechar este desafío para corroborar eso a través de datos y mostrar ejemplos concretos de que, al igual que en la sociedad, la IA responde a patrones culturales”, señaló.
El entrevistado indicó que comprobar y compartir públicamente esta información es importante ya que numerosos usuarios consideran que la IA se maneja por sí sola y no comete los mismos errores que los humanos.

El rol de la Universidad para enfrentar desafíos
El docente fue consultado acerca de qué conocimientos previos de su formación en UTEC fueron relevantes al enfrentar el desafío. En ese sentido, dijo que fue clave la programación en Python y machine learning, ya que en la especialización tuvo un curso que le brindó nociones para desarrollar mejor en el ejercicio. También destacó el curso previo al desafío, desarrollado a través del Centro de Transformación Digital.
“En los cursos se trabaja la utilización de distintos modelos de predicción y muestran cómo separar los datos, por un lado los que se entrenan y, por otro, los objetivos. Luego se enseña a entreverarlos para que no siempre den el mismo resultado, de forma de utilizar el modelo y extraer la solución. Te dan el paso a paso guiado de cómo llevar a la práctica un problema real”, explicó.
Guillermo resaltó que lo interesante de la modalidad de desafíos es que permite incorporar lo teórico a lo práctico. Dijo que no se trata solo de entregar un trabajo final, sino que hay un ranking, puntuaciones, calificaciones, que hacen parte de la motivación para mejorar e ir más allá que cumplir con un compromiso.
Recomienda a la comunidad UTEC ser parte de estos desafíos que se abren anualmente asociados a temáticas diversas. Comentó que es posible participar de manera individual o grupal, también se puede ser tutor, por lo que existen varias maneras de involucrarse con la plataforma. “Con el hecho de únicamente compartir artículos y publicaciones ya es posible sumar puntos dentro de los desafíos”, contó.

Pensamiento crítico y la importancia de entender los algoritmos
Guillermo aseguró que es útil para concientizar a la sociedad y ser más críticos al momento de utilizar la IA. Por ejemplo, recientemente se encontró con la noticia de que en Brasil están preocupados por el gran número de consultas a la IA sobre quién es el mejor candidato para ser presidente. “Si se basan solo en eso, no están siendo críticos en su análisis. No solamente por el hecho de los estereotipos sino por lo político, cultural, la educación, la salud”, analizó.
Dijo que hablar de estos temas y mostrar resultados reales al respecto es importante para entender cómo se maneja y aprende la herramienta, cómo funcionan los algoritmos internamente, y que eso permitirá analizar mejor las respuestas que brinde para tomar decisiones.
En su caso, le gustaría que las personas comprendan que todas las respuestas de la IA son a base de probabilidad y estadística, es decir, de cálculos. “La IA hará un promedio que se adapte mejor a la respuesta y es lo que arrojará, que no quiere decir que sea verdad o exactamente lo que la persona necesita. La información está sesgada y puede actuar con cierto perfil”.

Sobre el docente y su recorrido
Guillermo es oriundo de Artigas, pero vive en Salto hace tres años. Es egresado del Posgrado en Robótica e Inteligencia Artificial y trabaja en UTEC como docente encargado de Programación, asociado a la sede de Fray Bentos. Cuando comenzó el posgrado se interesaba por la robótica principalmente, luego se despertó su interés en la Inteligencia Artificial y qué hay detrás de ella.
Con el paso del tiempo quiso saber cómo se manejan los algoritmos para realizar predicciones que puedan ser aplicadas a casos reales de la vida. “La IA es un área más específica a la que se debe aplicar la programación, pero llevada a problemas reales, y ahí se da el encuentro de hacer algo productivo con lo que sé”, aseguró.

Desafíos para la comunidad UTEC
Mauro Carlevaro es docente Encargado de la Plataforma de Inteligencia Artificial de UTEC. Respecto a AIUTEChallenge aseguró que es importante contar con un espacio donde se pueda poner en práctica los conocimientos y se transformen en soluciones a problemas reales. Sobre todo, en un espacio para profundizar en el desarrollo de una mirada crítica y promover instancias de reflexión sobre las temáticas que se abordan. 
El espacio de desafíos de IA y Ciencia de Datos de UTEC busca que los participantes trabajen con datos, apliquen herramientas de IA y Machine Learning y desarrollen soluciones para necesidades de la Universidad como en colaboración con otras organizaciones.
En ese sentido, actualmente se tiene un desafío abierto en convenio con el semanario Búsqueda, Chequeado y financiado por la Unión Europea, denominado “¿Puede la IA ayudar al periodismo sin reemplazar el juicio humano?”. En el mismo, estudiantes interesados en IA y ciencia de datos; procesamiento de lenguaje natural; periodismo; comunicación digital, desinformación y análisis de información, pueden sumarse para analizar un dataset de desinformación, desarrollar modelos de clasificación de texto, explicar cómo y por qué toman decisiones los modelos, analizar sesgos y riesgos asociados al uso de IA.
Las inscripciones están abiertas hasta el 27 de noviembre aquí  
En esa misma línea, a modo de preparación para este desafío, se encuentra habilitado un curso virtual sobre análisis de datos con Python, que estará disponible hasta el 30 de octubre aquí