Токен (token) — это единица текста, которую читают и пишут языковые модели: небольшой фрагмент текста, иногда целое слово, а иногда лишь его часть.
Коротко
- Токен — это фрагмент текста, который модель обрабатывает как единое целое. Всё, что отправляется в модель, и всё, что она пишет, считается в токенах.
- По данным OpenAI, в английском языке один токен — это примерно 4 символа или 0,75 слова.
- У модели есть ограничение длины: инструкции, ввод и ответ вместе не могут его превышать.
- В API OpenAI платят за токены, отдельно за ввод и за вывод.
Что такое токен, в одном образе
Подумайте о конструкторе лего. Дом строят не из песка, а из кубиков, причём разных размеров. Языковая модель читает не буквы и не целые предложения, а такие «кубики текста». Короткое распространённое слово может быть одним кубиком, а длинное или редкое может распасться на несколько.
Токены — это единица, в которой модель считает свою работу: сколько прочитала, сколько написала и сколько места у неё осталось.
Как это работает?
OpenAI приводит практическое правило для английского текста: токен — это примерно 4 символа или 0,75 слова. Обратите внимание, что это правило для английского языка. В русском и других языках разбиение может быть иным, поэтому не полагайтесь на него для точного расчёта. Если нужно точное число, проверяйте в инструменте подсчёта токенов у поставщика модели.
Источник: документация OpenAI, Concepts и страница цен API. Практическое правило относится к английскому языку.
Документация определяет и ограничение контекста (context window): инструкции и ввод, отправленные в модель, вместе с создаваемым ответом не могут превышать максимальную длину модели. Иначе что-то не поместится.
Почему это важно для бизнеса?
- Стоимость. На странице цен OpenAI указаны цены за миллион токенов, причём ввод и вывод оцениваются отдельно. У многих моделей есть и скидка на ввод, сохранённый в кэше. То, что вы платите, зависит от того, сколько текста отправлено и сколько создано. Из чего складывается стоимость агента, описано в статье о стоимости ИИ-агента для бизнеса.
- Длинные документы. Резюме договора или длинного каталога потребляет много токенов и может вытеснить остальное за пределы окна.
- Долгие диалоги. Чем дольше диалог, тем больше истории нужно отправлять в модель, поэтому при смене темы можно начать новый диалог.
- Короткие и чёткие инструкции. Лаконичная инструкция экономит токены.
- Агенты. Агент, работающий в несколько шагов, на каждом шаге читает и возвращает текст, поэтому стоит попросить того, кто его запускает, объяснить, как измеряется использование. О том, как устроен агент: Что такое ИИ-агент.
Что мы делаем на практике
Владельцу бизнеса не нужно считать токены вручную. Но от каждого, кто запускает вам агента, стоит требовать ясного объяснения, как измеряется использование и как предотвращается расход впустую, например отправка целого документа, когда достаточно фрагмента. Лучший способ понять расходы — проверить актуальный тариф у поставщика, потому что цены меняются.
Распространённые мифы
Миф«Токен — это ровно слово»
На делеOpenAI говорит о приближении: примерно 0,75 слова на токен, в английском. Поэтому одно слово может быть больше чем одним токеном.
Миф«Платишь только за ответ»
На делеВ API платят и за ввод, и за вывод, по разным тарифам.
Миф«В модель можно вставить сколько угодно текста»
На делеЕсть ограничение длины. Ввод и ответ вместе не могут его превышать.
Миф«Число токенов одинаково в любом языке»
На делеПрактическое правило OpenAI сформулировано для английского. В других языках число может отличаться, поэтому проверяют на деле.
Связанные термины
- Что такое LLM: языковая модель, обрабатывающая токены.
- Что такое RAG: способ передать модели только нужные фрагменты вместо целого документа.
- Что такое ИИ-агент: система, которая действует по шагам и расходует токены на каждом.
- Что такое галлюцинация в ИИ: когда модель выдаёт ответ, который звучит верно, но таковым не является.
- Сколько стоит ИИ-агент для бизнеса: как токены входят в стоимость.
Частые вопросы
Что такое токен в ИИ?
Токен — это единица текста, которую читают и пишут языковые модели. Он может быть целым словом, частью слова или знаком препинания. Число токенов определяет, сколько места занимает текст в ограничении длины модели, а при работе через API ещё и сколько вы платите.
Сколько токенов в слове?
OpenAI указывает, что в английском языке один токен — это примерно 4 символа или 0,75 слова. Это практическое правило только для английского. В русском число может быть другим, поэтому для точного расчёта используют инструмент подсчёта.
Что такое контекстное окно (context window)?
Это ограничение длины модели. По документации OpenAI, инструкции и ввод вместе с создаваемым ответом не могут превышать максимальную длину контекста модели.
Как токены влияют на стоимость?
В API OpenAI цены указаны за миллион токенов, а ввод и вывод оцениваются отдельно. Чем больше текста отправлено и создано, тем выше стоимость. Точная сумма зависит от модели и актуальных тарифов на сайте поставщика.
