Галлюцинация (Hallucination) в ИИ — это ситуация, когда языковая модель выдаёт неверную или выдуманную информацию в формулировке, которая звучит правдоподобно и уверенно. OpenAI описывает это как правдоподобные, но неверные утверждения. Это не редкий сбой, а особенность того, как модели строятся и оцениваются.
Коротко
- Галлюцинация — это ответ, который звучит верно, но таковым не является: имя, число, источник или деталь, которые выдумала модель.
- По данным OpenAI, две основные причины: произвольные факты, которым нельзя научиться по закономерностям текста, и методы оценки, поощряющие догадку вместо «я не знаю».
- Полностью устранить галлюцинации нельзя, но можно сократить: давать источник, разрешать модели сказать, что она не знает, и проверять.
- В бизнесе правило такое: оставляйте утверждение человеком для всего, что публикуется, отправляется или стоит денег.
Наглядно: студент, который не готов оставить пустое место
Представьте экзамен, где неверный ответ и пустой ответ дают ноль баллов. Что сделает умный студент? Будет всегда гадать. В лучшем случае он угадает, а терять ему нечего.
OpenAI утверждает, что именно это происходит с моделями. В своём исследовании она приводит пример: модель, угадывающая дату рождения человека, может попасть с вероятностью один к 365, тогда как ответ «я не знаю» гарантированно получит ноль. А на тестах, измеряющих только точность, гадающий выглядит лучше осторожного.
Почему это происходит: две причины
Первая причина: обучение
Нет закономерности, которой можно научиться
- Модель учится закономерностям по тексту
- Орфография и пунктуация — устойчивая закономерность
- У произвольного факта, например даты рождения человека, закономерности нет
Вторая причина: измерение
Гадать выгодно
- Большинство оценок считают только верные ответы
- «Не знаю» получает ноль, как и ошибка
- Модель, которая гадает, оценивается выше
Вывод OpenAI в том, что изменения нужны и в методах оценки: поощрять выражение откалиброванной неопределённости, а не ложную уверенность. Обещания, что проблема исчезнет, здесь нет, и сама OpenAI отмечает, что галлюцинации остаются вызовом для всех языковых моделей.
Как выглядит галлюцинация в бизнесе?
Несуществующее обещание
- Ответ клиенту о политике возврата, которой у вас нет
- Скидка, которую никто не утверждал
Выдуманная деталь в контенте
- «Исследование» или данные без источника
- Характеристики товара, не совпадающие с каталогом
Неверное число в отчёте
- Резюме, которое достраивает недостающие данные
- Сравнение с периодом, который не проверялся
Несуществующий источник
- Ссылка или цитата, выглядящие настоящими
- Название закона или нормы, которое не проверено
Как сокращают галлюцинации
Anthropic публикует в своей документации практичные приёмы:
- Разрешить «я не знаю». Прямо написать в инструкции, что при нехватке информации можно так и сказать.
- Опираться на цитаты. В длинном документе сначала попросить дословные цитаты и только потом анализ, который на них опирается.
- Требовать источник для каждого утверждения. А если цитаты, подтверждающей утверждение, нет, его удалить.
- Ограничить предоставленным материалом. Велеть использовать только приложенные документы, а не общие знания. Так работает и RAG.
- Проверять дважды. Запустить один и тот же запрос несколько раз и сравнить. Противоречия — тревожный знак.
Anthropic сама добавляет, что приёмы существенно уменьшают галлюцинации, но не устраняют их, и что критическую информацию нужно проверять, особенно при важных решениях.
Прежде чем публиковать или отправлять результат ИИ
Распространённые мифы о галлюцинациях
Миф«Модель лжёт»
На делеЛожь требует намерения. Модель не стремится обмануть, она создаёт правдоподобное продолжение, а правдоподобное порой неверно.
Миф«Новая продвинутая модель не выдумывает»
На делеМодели улучшаются, но галлюцинации не исчезают. Документация Anthropic тоже говорит, что приёмы сокращают, а не устраняют их.
Миф«Галлюцинацию можно распознать по стилю»
На делеГаллюцинация звучит точно так же, как верный ответ, уверенным тоном. Проверяют по источнику, а не по ощущению.
Миф«Если дать документы, галлюцинаций больше не будет»
На делеЭто очень помогает, но модель всё ещё может неверно истолковать или достроить недостающее. Поэтому по-прежнему требуют источник и проверяют.
Близкие понятия
- LLM: модель, которая пишет ответ
- RAG: дать модели нужный документ
- ИИ-агент: модель, которая действует, с утверждением
- Computer Use: когда модель действует на экране
- Prompt injection: когда контент вводит модель в заблуждение
Platin Digital — OpenAI Select Partner. В агентах, которых мы запускаем, контент для публикации, сообщение клиенту и изменение бюджета всегда ждут вашего утверждения, по описанной здесь причине.
Частые вопросы
Что такое галлюцинация в ИИ?
Галлюцинация в ИИ — это ситуация, когда языковая модель выдаёт неверную или выдуманную информацию в правдоподобной и уверенной формулировке, например несуществующее имя, данные или источник. По данным OpenAI, она возникает, среди прочего, из-за того, что произвольным фактам нельзя научиться по закономерностям текста, и из-за того, что методы оценки поощряют догадку.
Почему ChatGPT выдумывает?
Потому что он построен, чтобы создавать правдоподобное продолжение текста, а не сверять факты с базой. Когда информации у него нет, распространённые методы оценки подталкивают его гадать, а не говорить, что он не знает. Чем лучше ему предоставлен источник, как в RAG, тем меньше шанс ошибки.
Можно ли полностью предотвратить галлюцинации?
Нет. Их можно сократить с помощью разрешения сказать «не знаю», цитат, требования источника и ограничения предоставленными документами. И Anthropic, и OpenAI отмечают, что проблема остаётся, поэтому критическую информацию проверяют.
Как оставаться в безопасности, используя ИИ в бизнесе?
Разделяют работу: модель готовит черновик, а человек утверждает всё, что публикуется, отправляется клиенту или связано с деньгами. Проверяют числа и источники и начинают с задач, где небольшая ошибка обходится недорого. Подробнее в объяснении про ИИ-агента.
