Tres investigadores del Instituto de Smart Cities (ISC) de la Universidad Pública de Navarra (UPNA) han diseñado un conjunto de métricas que permiten cuantificar los sesgos demográficos existentes en los conjuntos de datos que son utilizados para entrenar los modelos de inteligencia artificial (IA). Este tipo de sesgos, que consisten en la falta de representación o mala representación de algunos grupos demográficos (por ejemplo, mujeres, personas de más de 70 años o personas negras), puede llevar a generar un mal comportamiento de los sistemas de inteligencia artificial entrenados con dichos datos y provocar un posible trato discriminatorio hacia determinados grupos poblacionales. Este trabajo se ha publicado en la revista “IEEE Transactions on Pattern Analysis and Machine Intelligence” (IEEE TPAMI), referente mundial en el ámbito de la inteligencia artificial.
“Por ejemplo, se ha comprobado que algunos sistemas de filtrado de currículums evitaban sistemáticamente aquellos que parecían venir de mujeres, siguiendo nuestro propio ejemplo machista. Y en el caso de la IA generativa, como ChatGPT, también se ha visto que tiende a asociar el género a ciertas profesiones, o características negativas a algunos grupos raciales”, afirma Iris Domínguez-Catena, autora del artículo, junto a Daniel Paternáin Dallo y Mikel Galar Idoate, integrantes del recientemente creado grupo de investigación Artificial Intelligence and Machine Learning Research (ARIN).
De izq. a dcha.: Mikel Galar, Iris Domínguez-Catena y Daniel Paternáin, en el campus de la UPNA.
Reconocer expresiones faciales a partir de una foto
Como caso de estudio, el artículo se centra en el reconocimiento automático de expresiones faciales (“Facial Expression Recognition”, por su nombre en inglés), que se basa en reconocer, de forma automática y a partir de la fotografía de una cara, la expresión mostrada por la persona entre una serie de expresiones básicas: felicidad, tristeza, miedo, asco, rabia, sorpresa y expresión neutra. Este problema tiene importantes aplicaciones en ámbitos como la medicina (detección de señales de dolor en bebés), la robótica asistencial (especialmente en personas mayores) o la creación audiovisual. Más concretamente, esta es la tecnología utilizada en el proyecto estratégico Emotional Films, en el que han tenido un papel clave investigadores de la UPNA (como quienes han realizado este trabajo recién publicado).
En el artículo, titulado “Metrics for Dataset Demographic Bias: A Case Study on Facial Expression Recognition”, el equipo investigador ha estudiado más de veinte conjuntos de datos, incluyendo los más utilizados actualmente en el entrenamiento de inteligencias artificiales para el reconocimiento de expresiones. Estos conjuntos son habitualmente extraídos de internet sin un control muy exhaustivo. “Lo que hemos comprobado es que, aunque estos conjuntos suelen estar balanceados entre hombres y mujeres, no todas las edades ni todas las razas están igualmente representadas —indica Iris Domínguez—. De hecho, las personas blancas de entre 20 y 30 años están mucho más representadas que otros grupos, lo que puede llevar a que los modelos discriminen, por ejemplo, a las personas mayores de 70 o las mujeres racializadas”. A este tipo de sesgos se les denomina sesgos representacionales.
Sin embargo, no son los únicos existentes. “También hemos comprobado que muchos conjuntos de datos tienden a tener casi el doble de mujeres felices que de hombres felices y con el enfado sucede al contrario —señala la investigadora—. Esto puede llevar al modelo a asumir que una persona está expresando felicidad o enfado basándose en si su apariencia es más femenina o más masculina. A estos sesgos los denominamos sesgos estereotípicos”.
Quienes firman el artículo han analizado un total de 17 métricas para cuantificar todos los tipos de sesgos y, tras un profundo análisis, han propuesto las más adecuadas para establecer medidas cuantitativas e interpretables de los sesgos existentes en un conjunto de datos. “Muchos de estos problemas se heredan directamente de nuestros sesgos como sociedad, y pueden repetir, o incluso aumentar, los mismos patrones de discriminación habituales. Cuantificar el nivel de sesgos es el primer paso para evitar o mitigar los posibles sesgos que puedan transferirse al modelo final”, concluye Iris Domínguez.
El equipo autor de la investigación
La autora principal del artículo, Iris Domínguez-Catena (Pamplona, 1992), es graduada en Informática (2015) y cursó el Máster en Ingeniería Informática (2020) por la UPNA, donde realiza actualmente el doctorado con una tesis centrada en el estudio de sesgos demográficos en inteligencia artificial.
Los otros autores del artículo son dos profesores titulares de universidad en el Departamento de Estadística, Informática y Matemáticas. Se trata de Daniel Paternáin (Pamplona, 1984), que es ingeniero técnico en Informática de Gestión (2006), ingeniero informático (2008) y doctor (2013) por la UPNA; y de Mikel Galar (Pamplona, 1986), ingeniero técnico en Informática de Gestión (2007) e ingeniero informático (2009) por la UPNA, donde se doctoró en 2013, tras haber cursado el Máster en Soft Computing y Sistemas Inteligentes en la Universidad de Granada (2010).
Una revista puntera a nivel mundial
La revista “IEEE Transactions on Pattern Analysis and Machine Intelligence” es una de las más importantes en el ámbito de la inteligencia artificial, especialmente, en las áreas del aprendizaje automático (“machine learning”), visión por computador y reconocimiento de patrones. Lleva más de veinte años dentro del “top” 5 de revistas del JCR (Journal Citation Report, que analiza las publicaciones mundiales) en el área de ciencias de la computación e inteligencia artificial. Cuenta con un factor de impacto de 23.6, lo que la sitúa como la segunda publicación en el “ranking” de ciencias de la computación e inteligencia artificial del JCR y como la primera en la clasificación de ingeniería eléctrica y electrónica del JCI (Journal Citation Indicator).