O que é o formato TOON?

TOON (Token-Oriented Object Notation) é um formato de serialização de dados compacto e legível projetado especificamente para Modelos de Linguagem de Grande Escala (LLMs). Ao contrário do JSON, que repete nomes de campos para cada objeto em um array, o TOON declara nomes de campos uma vez e depois transmite dados em linhas—similar ao CSV mas com estrutura explícita. Este design tipicamente reduz o uso de tokens em 30-60% comparado ao JSON formatado, especialmente para arrays uniformes de objetos. TOON combina a estrutura baseada em indentação do YAML para objetos aninhados com a eficiência tabular do CSV, otimizada para contextos LLM onde custos de tokens importam.

Descrição da ferramenta

Este conversor transforma dados entre formatos JSON e TOON bidirecionalmente. Simplesmente cole seus dados JSON para gerar saída TOON compacta, ou converta TOON de volta para JSON padrão. A ferramenta usa a biblioteca oficial @toon-format/toon para garantir conversão precisa. TOON é particularmente eficaz para conjuntos de dados com estruturas repetidas—como registros de usuários, logs de transações, respostas de API ou quaisquer dados tabulares—onde reduzir a contagem de tokens melhora a eficiência ao trabalhar com LLMs.

Exemplos

Entrada JSON:

{
  "users": [
    { "id": 1, "name": "Alice", "role": "admin" },
    { "id": 2, "name": "Bob", "role": "user" }
  ]
}

Saída TOON:

users[2]{id,name,role}:
  1,Alice,admin
  2,Bob,user

Exemplo de estrutura aninhada:

JSON com objetos aninhados se converte para formato TOON indentado:

{
  "order": {
    "id": "ORD-456",
    "items": [
      { "sku": "A1", "qty": 2, "price": 19.99 },
      { "sku": "B2", "qty": 1, "price": 29.99 }
    ],
    "total": 69.97
  }
}

Torna-se:

order:
  id: ORD-456
  items[2]{sku,qty,price}:
    A1,2,19.99
    B2,1,29.99
  total: 69.97

Recursos

  • Conversão bidirecional entre formatos JSON e TOON com fidelidade completa
  • Redução significativa de tokens (30-60% menos tokens vs JSON para arrays uniformes)
  • Preserva estrutura de dados incluindo objetos aninhados, arrays e valores primitivos
  • Detecção automática de formato e estratégia de codificação ótima
  • Saída legível com estrutura tabular clara para dados uniformes
  • Conversão type-safe mantendo corretamente números, booleanos, null e strings
  • Lida com casos extremos incluindo arrays vazios, estruturas aninhadas e tipos mistos
  • Conversão em tempo real com resultados instantâneos enquanto digita

Casos de uso

  1. Otimização de API LLM - Reduzir custos de tokens ao enviar dados estruturados para GPT, Claude ou outros LLMs convertendo payloads JSON para formato TOON antes de chamadas de API
  2. Prompts de análise de dados - Preparar conjuntos de dados para análise LLM com codificação mais eficiente, permitindo conjuntos de dados maiores dentro de limites de contexto
  3. Geração de dados estruturados - Usar TOON em prompts para solicitar que LLMs gerem dados tabulares mais eficientemente que JSON
  4. Processamento de logs - Converter logs de aplicações ou dados analíticos para formato compacto para análise e resumo baseados em LLM
  5. Gerenciamento de configuração - Transformar arquivos de configuração em formato eficiente em tokens ao usar LLMs para gerenciamento de infraestrutura ou tarefas DevOps

Detalhes de eficiência de tokens

TOON alcança economias significativas de tokens através de várias otimizações:

  • Sem nomes de campos repetidos - Declara campos uma vez no cabeçalho em vez de repetir para cada objeto
  • Pontuação mínima - Remove colchetes, chaves e aspas redundantes onde seguro
  • Formato tabular - Usa linhas tipo CSV para arrays uniformes de objetos
  • Flexibilidade de delimitadores - Suporta vírgula (padrão), tabulação ou pipe para tokenização ótima

Exemplo de comparação de tokens (usando tokenizador GPT-5):

  • JSON (formatado): 100 registros de funcionários ≈ 49.776 tokens
  • TOON: Mesmos dados ≈ 17.635 tokens (redução de 64,6%)
  • CSV: ≈ 15.583 tokens (mais compacto, mas sem estrutura)

TOON fornece o melhor equilíbrio entre compacidade e integridade estrutural para aplicações LLM.

Visão geral do formato

Objetos: Pares chave-valor simples com indentação para aninhamento

id: 123
name: Ada
active: true

Arrays: Comprimento declarado entre colchetes, arrays primitivos inline

tags[3]: reading,gaming,coding

Arrays tabulares: Objetos uniformes formatados como tabelas com cabeçalhos de campos

items[2]{sku,qty,price}:
  A1,2,9.99
  B2,1,14.5

Regras de aspas: Strings são entre aspas apenas quando necessário (contêm delimitadores, dois pontos ou parecem outros tipos)

Notas de conversão

Ao converter JSON para TOON:

  • Arrays uniformes de objetos usam automaticamente formato tabular
  • Estruturas aninhadas mantêm indentação apropriada
  • Tipos não-JSON (undefined, funções) são convertidos para null
  • Datas são convertidas para strings ISO
  • Números evitam notação científica

Ao converter TOON para JSON:

  • Mantém formatação JSON padrão com indentação de 2 espaços
  • Valida comprimentos de arrays e consistência de campos
  • Escapa corretamente caracteres especiais
  • Preserva informações de tipo (números, booleanos, null)