O que é tokenização em modelos de linguagem de IA?

A tokenização é o processo de dividir texto em unidades menores chamadas tokens, que os modelos de linguagem de IA usam para entender e processar texto. Um token pode ser uma palavra, parte de uma palavra ou até mesmo um único caractere. Por exemplo, "olá" pode ser um token, enquanto "extraordinariamente" pode ser dividido em vários tokens como "extra", "ordinaria", "mente". Compreender a tokenização é crucial porque os modelos de IA têm limites de tokens para suas entradas e saídas, e os custos de API são frequentemente calculados com base no número de tokens usados.

Descrição da ferramenta

A ferramenta GPT Tokenizer permite que você veja exatamente como os vários modelos GPT da OpenAI tokenizam a entrada de texto. Você pode inserir qualquer texto de prompt e selecionar de uma ampla gama de modelos GPT para ver a divisão de tokens com visualização codificada por cores. Cada token é destacado com uma cor única, facilitando a compreensão de como o modelo processa seu texto. A ferramenta exibe a contagem total de tokens e mostra caracteres especiais (espaços como pontos e quebras de linha como setas) para melhor visibilidade.

Exemplos

Entrada:

  • Modelo: GPT-5
  • Prompt: "Olá, como você está hoje?"

Saída:

  • Tokens: o número varia de acordo com o modelo
  • Visualização: Cada palavra/pontuação mostrada em cores diferentes

Recursos

  • Suporte a vários modelos: Escolha entre mais de 30 modelos GPT e OpenAI
  • Tokenização em tempo real: Veja os tokens atualizarem instantaneamente enquanto você digita
  • Visualização codificada por cores: Cada token recebe uma cor única para fácil identificação

Modelos suportados

A ferramenta suporta os seguintes modelos OpenAI:

Série ChatGPT:

  • ChatGPT-4o Latest

Série GPT-5:

  • GPT-5
  • GPT-5 Pro
  • GPT-5 mini
  • GPT-5 nano

Série GPT-4.x:

  • GPT-4.5 Preview
  • GPT-4.1
  • GPT-4.1 mini
  • GPT-4.1 nano

Série GPT-4:

  • GPT-4o
  • GPT-4o mini
  • GPT-4
  • GPT-4 turbo

Série GPT-3.5:

  • GPT-3.5 turbo
  • GPT-3.5 turbo instruct

Série O (modelos de raciocínio):

  • o4-mini
  • o3
  • o3-mini
  • o3-pro
  • o1
  • o1-mini
  • o1-preview
  • o1-pro

Modelos legados:

  • text-davinci-003
  • text-davinci-002
  • text-davinci-001