Módulo 2 · Introducción a la IA Generativa Material del módulo · PDF

Contenido dañino, información incorrecta y alucinaciones

Una respuesta convincente puede ser falsa: la fluidez no reemplaza la verificación.

Objetivo de esta lecciónIdentificar contenido dañino e incorrecto, comprender qué se llama alucinación y aplicar estrategias básicas de verificación.

Contenido dañino e incorrecto

DEFINICIÓNContenido dañino

Material generado por IA —texto, imágenes, audio o video— que ofende, discrimina, hostiga, engaña o puede causar perjuicios a las personas.

DEFINICIÓNContenido incorrecto

Información falsa, inexacta o desactualizada presentada como si fuera verdadera.

Qué es una “alucinación”

En IA generativa, se llama alucinación a una respuesta que contiene información falsa o inventada presentada con la misma seguridad que un dato correcto. El NIST utiliza también el término confabulación.

Cita inexistenteUna frase atribuida a una persona que nunca la dijo.

Referencia inventadaAutor, título y año de una publicación que no existe.

Norma falsaUn artículo de una ley con número y contenido inventados.

Dato sin fuenteUna cifra estadística precisa que no proviene de ninguna fuente verificable.

Por qué una respuesta convincente puede ser falsa

Una herramienta generativa construye respuestas a partir de patrones y probabilidades. Su objetivo es producir contenido plausible, no comprobar por sí sola que sea verdadero. Puede completar con datos inventados, escribir con el mismo tono seguro cuando acierta o se equivoca, usar información desactualizada y responder aunque la pregunta esté mal planteada.

La calidad de la redacción no demuestra que el contenido sea correcto.

Riesgos de usar resultados no verificados

El impacto depende del contexto. Un error en una lista de ideas puede ser irrelevante; en cambio, una indicación equivocada sobre un medicamento, un dato falso en un informe, una referencia académica inexistente, un plazo legal mal informado o información errónea en una emergencia pueden causar perjuicios importantes.

Estrategias para prevenirlo

Definir claramente el propósito y los límites de uso.

Limitar el ámbito y, cuando corresponda, las fuentes autorizadas.

Usar instrucciones y formatos estructurados.

Filtrar contenido dañino.

Probar antes de poner una herramienta en funcionamiento.

Monitorear respuestas y reclamos.

Verificar datos, citas, cifras y referencias con fuentes fiables.

Recurrir a supervisión humana, especialmente cuando un error puede tener consecuencias importantes.

ACTIVIDAD

Antes de usar la respuesta

Una herramienta afirma que “un estudio de 2021 de la Universidad de Toronto” encontró que el uso del celular en clase reduce el rendimiento un 23 %.

¿Qué pasos debería seguir un estudiante antes de incluir ese dato en un trabajo?

Ver orientación

Buscar el estudio en fuentes académicas o en el sitio de la universidad; comprobar que existe y que dice lo que la herramienta afirma; leer al menos el resumen para entender el contexto; citar la fuente original. Si no puede encontrarse, no usar el dato.

Idea central

Una respuesta bien escrita no es una respuesta verificada. Cuanto más importante es la decisión, más necesaria es la verificación.