Alucinação (Hallucination) em IA é uma situação em que um modelo de linguagem entrega uma informação errada ou inventada, numa formulação que soa plausível e segura. A OpenAI a descreve como afirmações plausíveis, porém falsas. Não é uma falha rara, e sim uma característica do modo como os modelos são construídos e avaliados.
Em resumo
- Alucinação é uma resposta que soa certa e não é: um nome, um número, uma fonte ou um detalhe que o modelo inventou.
- Segundo a OpenAI, há duas causas principais: fatos arbitrários que não dá para aprender a partir de padrões de texto, e métodos de avaliação que premiam o palpite em vez do "não sei".
- Não dá para eliminar alucinações por completo, mas dá para reduzi-las: dar uma fonte, permitir que o modelo diga que não sabe e conferir.
- No negócio, a regra é manter a aprovação humana para tudo o que é publicado, enviado ou custa dinheiro.
A imagem: um aluno que não aceita deixar em branco
Imagine uma prova em que uma resposta errada e uma resposta em branco valem zero pontos. O que faz um aluno esperto? Chuta sempre. No melhor caso acerta, e não tem nada a perder.
A OpenAI afirma que é exatamente isso que acontece com os modelos. Na pesquisa dela há um exemplo: um modelo que chuta a data de aniversário de uma pessoa pode acertar com chance de 1 em 365, enquanto a resposta "não sei" está garantida de receber zero. E, em provas que medem só a precisão, quem chuta parece melhor do que quem é cauteloso.
Por que acontece: duas causas
Primeira causa: o treinamento
Não há padrão para aprender
- O modelo aprende padrões a partir do texto
- Ortografia e pontuação são um padrão estável
- Um fato arbitrário, como a data de nascimento de alguém, não tem padrão
Segunda causa: a medição
Chutar compensa
- A maioria das avaliações conta só respostas certas
- "Não sei" recebe zero, como um erro
- Um modelo que chuta é classificado mais alto
A conclusão da OpenAI é que também é preciso mudar os métodos de avaliação: premiar a expressão de incerteza calibrada, e não a confiança equivocada. Não há aqui a promessa de que o problema vai desaparecer, e a própria OpenAI observa que as alucinações continuam sendo um desafio para todos os modelos de linguagem.
Como é uma alucinação no negócio?
Uma promessa que não existe
- Resposta a um cliente sobre uma política de devolução que o seu negócio não tem
- Um desconto que ninguém aprovou
Um detalhe inventado no conteúdo
- Uma "pesquisa" ou um dado sem fonte
- Uma especificação de produto que não bate com o catálogo
Um número errado no relatório
- Um resumo que completa um dado que faltava
- Uma comparação com um período que não foi conferido
Uma fonte que não existe
- Um link ou uma citação que parecem reais
- O nome de uma lei ou norma que ninguém conferiu
Como reduzir as alucinações
A Anthropic publica na sua documentação técnicas práticas:
- Permitir o "não sei". Escrever na instrução, de forma explícita, que se faltar informação o modelo pode dizer isso.
- Apoiar-se em citações. Num documento longo, pedir primeiro citações literais e só depois uma análise baseada nelas.
- Exigir uma fonte para cada afirmação. E, se não houver uma citação que sustente a afirmação, apagá-la.
- Limitar ao material que você forneceu. Instruir o modelo a usar só os documentos anexados e não o conhecimento geral. É assim que funciona também o RAG.
- Verificar duas vezes. Rodar o mesmo pedido várias vezes e comparar. Contradições são um sinal de alerta.
A própria Anthropic acrescenta que as técnicas reduzem as alucinações de forma significativa, mas não as eliminam, e que informações críticas devem ser verificadas, sobretudo em decisões importantes.
Antes de publicar ou enviar um resultado de IA
Mitos comuns sobre alucinações
Mito"O modelo mente"
Na práticaMentir exige intenção. O modelo não pretende enganar, ele gera uma continuação plausível, e às vezes o plausível não é verdadeiro.
Mito"Um modelo novo e avançado não inventa"
Na práticaOs modelos melhoram, mas as alucinações não desaparecem. A documentação da Anthropic também diz que as técnicas reduzem e não eliminam.
Mito"Dá para reconhecer uma alucinação pelo estilo"
Na práticaUma alucinação soa exatamente como uma resposta certa, em tom seguro. Confira com uma fonte, não pela sensação.
Mito"Se eu fornecer documentos, acabam as alucinações"
Na práticaAjuda muito, mas o modelo ainda pode interpretar mal ou completar o que falta. Por isso você continua exigindo fonte e conferindo.
Conceitos próximos
- LLM: o modelo que escreve a resposta
- RAG: dar ao modelo o documento certo
- Agente de IA: um modelo que executa, com aprovação
- Computer Use: quando o modelo age numa tela
- Prompt injection: quando um conteúdo engana o modelo
A Platin Digital é OpenAI Select Partner. Nos agentes que montamos, conteúdo para publicação, mensagem a um cliente e mudança de orçamento esperam sempre a sua aprovação, pelo motivo descrito aqui.
Perguntas frequentes
O que é alucinação em IA?
Alucinação em IA é uma situação em que um modelo de linguagem entrega uma informação errada ou inventada, numa formulação plausível e segura, como um nome, um dado ou uma fonte que não existem. Segundo a OpenAI, ela decorre, entre outras coisas, de fatos arbitrários não poderem ser aprendidos a partir de padrões de texto e de métodos de avaliação que premiam o palpite.
Por que o ChatGPT inventa coisas?
Porque ele foi construído para gerar uma continuação plausível de um texto, e não para checar fatos numa base. Quando não tem a informação, os métodos de avaliação mais comuns o incentivam a chutar em vez de dizer que não sabe. Quanto mais você fornece uma fonte, como no RAG, menor a chance de erro.
Dá para evitar totalmente as alucinações?
Não. É possível reduzi-las permitindo o "não sei", usando citações, exigindo fonte e limitando o modelo aos documentos fornecidos. Tanto a Anthropic quanto a OpenAI observam que o problema continua, por isso a informação crítica é conferida.
Como me manter seguro ao usar IA no negócio?
Divida o trabalho: o modelo prepara um rascunho, e uma pessoa aprova tudo o que é publicado, enviado a um cliente ou ligado a dinheiro. Confira números e fontes e comece por tarefas em que um erro pequeno não custa caro. Mais na explicação sobre agente de IA.
