Um token é a unidade de texto que os modelos de linguagem leem e escrevem: um pedacinho de texto, às vezes uma palavra inteira e às vezes só uma parte dela.
Em resumo
- Um token é um pedaço de texto que o modelo processa como uma unidade. Tudo o que é enviado ao modelo e tudo o que ele escreve é contado em tokens.
- Segundo a OpenAI, em inglês um token equivale a cerca de 4 caracteres ou 0,75 palavra.
- O modelo tem um limite de tamanho: as instruções, a entrada e a resposta juntas não podem ultrapassá-lo.
- Na API da OpenAI paga-se por tokens, separadamente para entrada e para saída.
O que é um token, em uma imagem
Pense em Lego. A casa não é feita de areia, e sim de peças, e de peças de tamanhos diferentes. Um modelo de linguagem não lê letras nem frases inteiras, e sim essas "peças de texto". Uma palavra curta e comum pode ser uma única peça, e uma palavra longa ou rara pode ser dividida em várias.
Os tokens são a unidade em que o modelo conta o próprio trabalho: quanto leu, quanto escreveu e quanto espaço ainda lhe resta.
Como isso funciona?
A OpenAI indica uma regra prática para textos em inglês: um token equivale a cerca de 4 caracteres ou 0,75 palavra. Atenção: é uma regra para o inglês. Em português e em outros idiomas a divisão pode ser diferente, então não a use para um cálculo exato. Se você precisa de um número, confira numa ferramenta de contagem de tokens do fornecedor do modelo.
Fonte: documentação da OpenAI, Concepts e página de preços da API. A regra prática vale para o inglês.
A documentação também define a janela de contexto (context window): as instruções e a entrada enviadas ao modelo, somadas à resposta que ele gera, não podem passar do comprimento máximo do modelo. Senão, algo fica de fora.
Por que isso importa para o negócio?
- Custo. A página de preços da OpenAI mostra valores por milhão de tokens, com entrada e saída precificadas separadamente. Em muitos modelos há também desconto para entrada guardada em cache. O que você paga depende de quanto texto é enviado e de quanto é gerado. O detalhamento dos componentes do custo de um agente está no artigo sobre quanto custa um agente de IA para negócios.
- Documentos longos. Resumir um contrato ou um catálogo extenso consome muitos tokens e pode empurrar o resto para fora da janela.
- Conversas longas. Quanto mais a conversa se estende, mais histórico precisa ser enviado ao modelo, então vale abrir uma conversa nova ao trocar de assunto.
- Instruções curtas e claras. Uma instrução concisa economiza tokens.
- Agentes. Um agente que trabalha em várias etapas lê e devolve texto a cada passo, por isso vale pedir a quem o monta que explique como o uso é medido. Sobre a estrutura do agente: O que é um agente de IA.
O que fazemos na prática
Um dono de negócio não precisa contar tokens na mão. O que vale exigir de quem monta um agente para você: uma explicação clara de como o uso é medido e de como se evita o desperdício, por exemplo, enviar um documento inteiro quando um trecho bastaria. A melhor forma de entender custos é consultar a tabela atual do fornecedor, porque os preços mudam.
Mitos comuns
Mito"Um token é exatamente uma palavra"
Na práticaA OpenAI fala em aproximação: cerca de 0,75 palavra por token, em inglês. Por isso, uma única palavra pode ter mais de um token.
Mito"Só se paga pela resposta"
Na práticaNa API paga-se pela entrada e pela saída, em tarifas diferentes.
Mito"Dá para colar no modelo o texto que quiser"
Na práticaHá um limite de tamanho. A entrada e a resposta juntas não podem ultrapassá-lo.
Mito"O número de tokens é igual em qualquer idioma"
Na práticaA regra prática da OpenAI foi enunciada para o inglês. Em outros idiomas o número pode ser diferente, então confira na prática.
Termos relacionados
- O que é LLM: o modelo de linguagem que processa tokens.
- O que é RAG: um jeito de levar ao modelo só os trechos relevantes, em vez de um documento inteiro.
- O que é um agente de IA: um sistema que age em etapas e consome tokens em cada uma.
- O que é alucinação em IA: quando o modelo gera uma resposta que parece certa e não é.
- Quanto custa um agente de IA para negócios: como os tokens entram no custo.
Perguntas frequentes
O que é um token em IA?
Um token é a unidade de texto que os modelos de linguagem leem e escrevem. Pode ser uma palavra inteira, parte de uma palavra ou um sinal de pontuação. A contagem de tokens determina quanto espaço o texto ocupa no limite de tamanho do modelo e, no uso via API, também quanto se paga.
Quantos tokens tem uma palavra?
A OpenAI indica que, em inglês, um token equivale a cerca de 4 caracteres ou 0,75 palavra. É uma regra prática só para o inglês. Em português o número pode ser diferente, então, para um cálculo exato, use uma ferramenta de contagem.
O que é janela de contexto (context window)?
É o limite de tamanho do modelo. Segundo a documentação da OpenAI, as instruções e a entrada, junto com a resposta gerada, não podem passar do comprimento máximo de contexto do modelo.
Como os tokens afetam o custo?
Na API da OpenAI os preços são mostrados por milhão de tokens, e entrada e saída são precificadas separadamente. Quanto mais texto é enviado e gerado, maior o custo. O valor exato depende do modelo e das tarifas atuais no site do fornecedor.
