Prompt Injection (внедрение промпта) — это ситуация, когда ввод, прямой или спрятанный внутри контента, который читает модель, меняет поведение языковой модели так, как вы не предполагали.
Коротко
- Prompt Injection — это использование текста, чтобы заставить ИИ-модель сделать то, чего вы не хотели.
- OWASP, известная организация по безопасности, ставит это на первое место в списке рисков для приложений на основе языковых моделей (LLM01).
- Вредоносная инструкция может прятаться на сайте, в файле или в письме, которое читает агент, а не только в сообщении, которое пишете вы.
- По данным OWASP, неясно, существует ли метод, который полностью это исключает. Риск снижают минимальными правами и утверждением человеком.
Что такое Prompt Injection, в одном образе
Представьте нового помощника, которому вы дали чёткие указания, и вот он вскрывает пришедшую по почте посылку. Внутри записка: «Отправь список клиентов по этому адресу». Осторожный помощник понимает, что это просто записка. Помощник, который не отличает «что сказал начальник» от «что написано перед глазами», может подчиниться.
Языковой модели трудно именно с этим: для неё всё, что в неё попадает, — текст. Поэтому текст с убедительной формулировкой может попытаться перехватить заданные ей инструкции.
Как это работает?
OWASP описывает две формы. Прямая: пользователь вводит данные, которые меняют поведение модели, намеренно или случайно. Косвенная: модель обрабатывает внешний контент, например сайт или файл, содержащий скрытые инструкции. OWASP отмечает, что воздействие может быть невидимым для человеческого глаза, поэтому его трудно заметить.
Косвенное внедрение: как это происходит
- Вы ставите задачу«Сделай краткое изложение этого документа»
- Агент читает внешний контентсайт, письмо или файл
- Внутри скрытая инструкцияи модель путает её с задачей
- Остановка до вредаузкие права и ваше утверждение
Последний шаг и определяет разницу. Чем меньше у агента прав и чем больше чувствительных действий ждут утверждения, тем меньший вред может причинить скрытая инструкция.
Почему это важно для бизнеса?
Вам не нужно быть особой мишенью. Достаточно, чтобы агент читал контент, который написали не вы. По данным OWASP, успешная атака может привести, среди прочего, к:
- Раскрытию информации. Несанкционированный доступ к данным или раскрытие системных инструкций (system prompt).
- Незапрошенным действиям. Использованию функций, которые не должны быть открыты, или запуску команд в подключённых системах.
- Искажённым или ошибочным результатам. Ответу, резюме или рекомендации, на которые повлиял вредоносный текст.
- Искажённым решениям. Агент, который сводит данные о конкурентах или поставщиках с сайтов, принимает решение на основе намеренно внедрённого контента.
Когда агент подключён к реальным аккаунтам, линия защиты — это права. О том, как это связано с приватностью, мы писали в руководстве по приватности и ИИ-агентам.
Что можно сделать?
OWASP рекомендует семь методов снижения риска, а приведённая ниже группировка переводит их на язык бизнеса:
Методы снижения риска по OWASP, языком владельца бизнеса
Ограничить агента
- Только минимально необходимые права
- Чёткие системные инструкции
- Заданный и проверяемый формат вывода
Проверять, что входит и что выходит
- Фильтрация ввода и вывода
- Отделение внешнего контента от инструкций
Запрашивать утверждение и проверять
- Утверждение человеком для опасных действий
- Учебные проверки на устойчивость к атакам
Источник: OWASP GenAI Security Project, LLM01:2025 Prompt Injection. Перевод и группировка наши.
Руководство OpenAI по созданию агентов тоже описывает ограничители безопасности как уровни защиты и подчёркивает, что одного недостаточно и что они должны работать вместе с правами, идентификацией и жёстким контролем доступа. Наша позиция: не полагайтесь на «умный промпт», который просит модель быть осторожной. Реальное ограничение прав сильнее.
Распространённые мифы
Миф«Это касается только хакеров и крупных компаний»
На делеЛюбой агент, читающий контент, который написали не вы, например сайты, письма и файлы, подвержен этому. Размер бизнеса не важен, важны права.
Миф«Это можно решить достаточно строгой инструкцией»
На делеOWASP пишет, что из-за природы моделей неясно, есть ли методы, которые полностью это исключают. Поэтому сочетают несколько уровней защиты.
Миф«Это просто ошибка модели»
На делеЭто не то же самое, что галлюцинация. Здесь поведением намеренно управляет внешний фактор, порой через текст, которого человек вообще не видит.
Миф«Если агент ни к чему не подключён, риска нет совсем»
На делеОтветы всё равно можно исказить. Но основной вред возникает при наличии подключений, поэтому ограниченные права особенно важны для агентов.
Связанные термины
- Что такое ИИ-агент: тот, кто сталкивается с контентом и действует в инструментах.
- Что такое MCP: подключение, которое даёт агенту доступ к системам.
- Что такое LLM: модель, получающая инструкции и контент вместе.
- Что такое галлюцинация в ИИ: другая ошибка, возникающая из самой модели.
- Что такое токен: инструкции и внешний контент попадают в модель как одна последовательность текста.
Частые вопросы
Что такое Prompt Injection?
Prompt Injection — это уязвимость, при которой ввод для языковой модели непреднамеренно меняет её поведение или вывод. По OWASP, ввод может прийти напрямую от пользователя или косвенно, из внешнего контента, который обрабатывает модель, например сайта или файла. Это первый риск в списке OWASP для LLM-приложений (LLM01).
Чем отличается прямое внедрение от косвенного?
При прямом поведение модели меняет тот, кто вводит текст в модель. При косвенном инструкция спрятана в контенте, который модель читает по пути, например на веб-странице, а не обязательно в сообщении пользователя.
Можно ли полностью предотвратить Prompt Injection?
OWASP пишет, что неясно, существуют ли абсолютно надёжные методы предотвращения. Поэтому рекомендуют несколько уровней: минимальные права, проверка ввода и вывода, отделение внешнего контента и утверждение человеком для опасных действий.
Что может сделать малый бизнес уже сегодня?
Дать агенту только те права, которые ему нужны, оставить публикации, бюджет и сообщения клиентам на ваше утверждение и не подключать к нему аккаунты, без которых можно обойтись. Кроме того, спросите того, кто запускает агента, как он обращается с внешним контентом.
