Una alucinación (Hallucination) en IA es una situación en la que un modelo de lenguaje entrega información falsa o inventada, con una redacción que suena plausible y segura. OpenAI lo describe como afirmaciones plausibles pero falsas. No es un fallo raro, sino una característica de cómo se construyen y se evalúan los modelos.
En resumen
- Una alucinación es una respuesta que suena correcta y no lo es: un nombre, una cifra, una fuente o un detalle que el modelo se inventó.
- Según OpenAI, hay dos causas principales: hechos arbitrarios que no se pueden aprender de los patrones del texto, y métodos de evaluación que premian adivinar frente a decir "no lo sé".
- No se pueden eliminar por completo, pero sí reducir: dar una fuente, permitir al modelo decir que no sabe, y comprobar.
- En un negocio, la regla es mantener la aprobación humana para todo lo que se publica, se envía o cuesta dinero.
La imagen: un estudiante que no se atreve a dejar un espacio en blanco
Imagina un examen en el que una respuesta errónea y una respuesta en blanco reciben cero puntos. ¿Qué hará un estudiante listo? Adivinará siempre. En el mejor de los casos acertará, y no tiene nada que perder.
OpenAI sostiene que eso es justo lo que les pasa a los modelos. En su investigación pone un ejemplo: un modelo que adivina la fecha de cumpleaños de una persona puede acertar con una probabilidad de una entre 365, mientras que responder "no lo sé" tiene garantizado un cero. Y en las pruebas que miden solo la exactitud, el que adivina parece mejor que el prudente.
Por qué ocurre: dos causas
Primera causa: el entrenamiento
No hay un patrón que aprender
- El modelo aprende patrones del texto
- La ortografía y la puntuación son un patrón estable
- Un hecho arbitrario, como la fecha de nacimiento de una persona, no tiene patrón
Segunda causa: la medición
Adivinar sale a cuenta
- La mayoría de las evaluaciones cuentan solo las respuestas correctas
- "No lo sé" recibe cero, igual que un error
- Un modelo que adivina queda mejor clasificado
La conclusión de OpenAI es que también hay que cambiar los métodos de evaluación: premiar la expresión de una incertidumbre calibrada y no la seguridad equivocada. No hay aquí ninguna promesa de que el problema vaya a desaparecer, y la propia OpenAI señala que las alucinaciones siguen siendo un desafío para todos los modelos de lenguaje.
¿Cómo es una alucinación en un negocio?
Una promesa que no existe
- Responder a un cliente sobre una política de devoluciones que no existe en tu negocio
- Un descuento que nadie aprobó
Un detalle inventado en el contenido
- Un "estudio" o un dato sin fuente
- Una ficha de producto que no coincide con el catálogo
Una cifra errónea en un informe
- Un resumen que completa un dato que falta
- Una comparación con un periodo que no se comprobó
Una fuente que no existe
- Un enlace o una cita que parecen reales
- El nombre de una ley o una norma que no se comprobó
Cómo reducir las alucinaciones
Anthropic publica en su documentación técnicas prácticas:
- Permitir el "no lo sé". Escribir en la instrucción, de forma explícita, que si falta información se puede decir.
- Apoyarse en citas. En un documento largo, pedir primero citas literales y solo después un análisis basado en ellas.
- Exigir una fuente para cada afirmación. Y si no hay una cita que respalde la afirmación, eliminarla.
- Limitar al material que proporcionaste. Indicar que use solo los documentos adjuntos y no el conocimiento general. Así funciona también RAG.
- Comprobar dos veces. Ejecutar la misma solicitud varias veces y comparar. Las contradicciones son una señal de alarma.
Anthropic añade por su cuenta que las técnicas reducen las alucinaciones de forma significativa pero no las eliminan, y que la información crítica debe verificarse, sobre todo en decisiones importantes.
Antes de publicar o enviar un resultado de IA
Mitos frecuentes sobre las alucinaciones
Mito"El modelo miente"
En realidadMentir requiere intención. El modelo no pretende engañar: genera una continuación plausible, y a veces lo plausible no es cierto.
Mito"Un modelo nuevo y avanzado no se inventa nada"
En realidadLos modelos mejoran, pero las alucinaciones no desaparecen. La documentación de Anthropic también dice que las técnicas reducen y no eliminan.
Mito"Una alucinación se reconoce por el estilo"
En realidadUna alucinación suena exactamente como una respuesta correcta, con un tono seguro. Se comprueba con una fuente, no por intuición.
Mito"Si le das documentos, ya no alucina"
En realidadAyuda mucho, pero el modelo aún puede interpretar mal o completar lo que falta. Por eso se sigue exigiendo una fuente y comprobando.
Conceptos cercanos
- LLM: el modelo que escribe la respuesta
- RAG: darle al modelo el documento correcto
- Agente de IA: un modelo que ejecuta, con aprobación
- Computer Use: cuando el modelo actúa sobre una pantalla
- Prompt injection: cuando un contenido engaña al modelo
Platin Digital es OpenAI Select Partner. En los agentes que configuramos, el contenido para publicar, un mensaje a un cliente y un cambio de presupuesto esperan siempre tu aprobación, por la razón descrita aquí.
Preguntas frecuentes
¿Qué es una alucinación en IA?
Una alucinación en IA es una situación en la que un modelo de lenguaje entrega información falsa o inventada con una redacción plausible y segura, por ejemplo un nombre, un dato o una fuente que no existen. Según OpenAI, se debe, entre otras cosas, a que los hechos arbitrarios no se pueden aprender de patrones de texto y a que los métodos de evaluación premian adivinar.
¿Por qué ChatGPT se inventa cosas?
Porque fue construido para generar una continuación plausible de un texto, no para contrastar hechos con una base de datos. Cuando no tiene información, los métodos de evaluación habituales lo animan a adivinar en lugar de decir que no sabe. Cuanto más se le da una fuente, como en RAG, menor es la probabilidad de error.
¿Se pueden evitar las alucinaciones por completo?
No. Se pueden reducir permitiendo decir "no lo sé", con citas, exigiendo una fuente y limitando el trabajo a los documentos proporcionados. Tanto Anthropic como OpenAI señalan que el problema persiste, por lo que la información crítica se comprueba.
¿Cómo mantenerse seguro al usar IA en un negocio?
Repartiendo el trabajo: el modelo prepara un borrador, y una persona aprueba todo lo que se publica, se envía a un cliente o afecta al dinero. Se comprueban cifras y fuentes, y se empieza por tareas en las que un error pequeño no sale caro. Más en la explicación sobre agentes de IA.
