Módulo 2 · Introducción a la IA Generativa Material del módulo · PDF

Equidad, sesgos y representación

Una herramienta puede reproducir desigualdades de los datos, las decisiones o los contenidos que genera.

Objetivo de esta lecciónReconocer dónde puede aparecer un sesgo y aplicar prácticas básicas para reducirlo y monitorear sus efectos.

Qué es un sesgo

En lenguaje cotidiano, un sesgo es una inclinación que distorsiona un juicio: una tendencia a favorecer o desfavorecer algo sin una razón justificada. Como los sistemas de IA aprenden de datos producidos por personas y son diseñados por personas, pueden incorporar esos sesgos, reproducirlos e incluso amplificarlos.

DEFINICIÓNEquidad en IA

Objetivo de que un sistema trate de manera justa a las personas y grupos, minimizando los sesgos y favoreciendo una representación inclusiva.

Dónde puede aparecer el sesgo

01En los datos

Si los ejemplos reflejan desigualdades históricas o representan mal a ciertos grupos, la herramienta aprende esa distorsión.

02En las decisiones

Cuando la IA participa en aprobar, rechazar o priorizar, el sesgo puede convertirse en ventajas o desventajas injustas.

03En los resultados generados

El contenido producido puede representar sistemáticamente a ciertos grupos de forma estereotipada.

Esta es una forma didáctica de ordenar el problema. Existen otras clasificaciones: el NIST, por ejemplo, agrupa los sesgos en sistémicos, estadísticos o computacionales, y humanos. Lo importante es comprender que el sesgo puede ingresar al elegir datos, procesarlos, diseñar el sistema o interpretar sus resultados.

Por qué los datos históricos pueden producir injusticias

Una herramienta no sabe si un patrón es justo o injusto: detecta que se repite. Si durante años ciertos grupos tuvieron menos acceso al empleo, a la educación o al crédito, los datos históricos mostrarán ese patrón y una herramienta puede tratarlo como “normal”. La apariencia de objetividad de una recomendación automática puede hacer que la desigualdad pase inadvertida.

Buenas prácticas

Representación diversa. Verificar que los datos representen adecuadamente a la población a la que la herramienta va a servir.

Documentación de fuentes. Registrar de dónde provienen los datos, cómo se seleccionaron o modificaron y quién accede a ellos.

Equipos interdisciplinarios y diversos. Incorporar distintas disciplinas, experiencias y, cuando sea posible, la mirada de las personas afectadas.

Evaluación y monitoreo. Probar con casos reales y distintos grupos antes de usar la herramienta y continuar controlándola después.

Revisión humana. Mantener personas que revisen recomendaciones antes de que produzcan efectos importantes.

ACTIVIDAD

Detectar un posible sesgo

Una universidad entrena una herramienta para detectar riesgo de abandono y ofrecer tutorías. El sistema señala con mucha mayor frecuencia a estudiantes que trabajan más de 30 horas semanales y a quienes viven lejos de la sede.

¿Podría haber un sesgo? ¿De qué tipo?
¿Qué ocurriría si la clasificación se usara para decidir becas o admisiones en vez de tutorías?
¿Qué haría falta revisar?

Ver orientación

Puede estar reflejando una falta histórica de apoyos institucionales más que una menor capacidad del estudiantado. Usarlo para ofrecer ayuda puede ser razonable con revisión humana; usarlo para excluir o reducir oportunidades reproduciría la desigualdad. Hay que revisar datos, criterios de uso y efectos sobre cada grupo.

Idea central

Una herramienta de IA no es neutral por ser una máquina. Aprende de datos humanos y puede repetir sus desigualdades si nadie lo controla.