O que é o formato TOON?

TOON (Token-Oriented Object Notation) é um formato de serialização de dados compacto e legível projetado especificamente para Modelos de Linguagem de Grande Escala (LLMs). Ao contrário do JSON, que repete nomes de campos para cada objeto em um array, o TOON declara nomes de campos uma vez e depois transmite dados em linhas—similar ao CSV mas com estrutura explícita. Este design tipicamente reduz o uso de tokens em 30-60% comparado ao JSON formatado, especialmente para arrays uniformes de objetos. TOON combina a estrutura baseada em indentação do YAML para objetos aninhados com a eficiência tabular do CSV, otimizada para contextos LLM onde custos de tokens importam.

Descrição da ferramenta

Este conversor transforma dados entre formatos JSON e TOON bidirecionalmente. Simplesmente cole seus dados JSON para gerar saída TOON compacta, ou converta TOON de volta para JSON padrão. A ferramenta usa a biblioteca oficial @toon-format/toon para garantir conversão precisa. TOON é particularmente eficaz para conjuntos de dados com estruturas repetidas—como registros de usuários, logs de transações, respostas de API ou quaisquer dados tabulares—onde reduzir a contagem de tokens melhora a eficiência ao trabalhar com LLMs.

Exemplos

Entrada JSON:

{
  "users": [
    { "id": 1, "name": "Alice", "role": "admin" },
    { "id": 2, "name": "Bob", "role": "user" }
  ]
}

Saída TOON:

users[2]{id,name,role}:
  1,Alice,admin
  2,Bob,user

Exemplo de estrutura aninhada:

JSON com objetos aninhados se converte para formato TOON indentado:

{
  "order": {
    "id": "ORD-456",
    "items": [
      { "sku": "A1", "qty": 2, "price": 19.99 },
      { "sku": "B2", "qty": 1, "price": 29.99 }
    ],
    "total": 69.97
  }
}

Torna-se:

order:
  id: ORD-456
  items[2]{sku,qty,price}:
    A1,2,19.99
    B2,1,29.99
  total: 69.97

Recursos

  • Conversão bidirecional entre formatos JSON e TOON com fidelidade completa
  • Redução significativa de tokens (30-60% menos tokens vs JSON para arrays uniformes)
  • Preserva estrutura de dados incluindo objetos aninhados, arrays e valores primitivos

Detalhes de eficiência de tokens

TOON alcança economias significativas de tokens através de várias otimizações:

  • Sem nomes de campos repetidos - Declara campos uma vez no cabeçalho em vez de repetir para cada objeto
  • Pontuação mínima - Remove colchetes, chaves e aspas redundantes onde seguro
  • Formato tabular - Usa linhas tipo CSV para arrays uniformes de objetos
  • Flexibilidade de delimitadores - Suporta vírgula (padrão), tabulação ou pipe para tokenização ótima

Exemplo de comparação de tokens (usando tokenizador GPT-5):

  • JSON (formatado): 100 registros de funcionários ≈ 49.776 tokens
  • TOON: Mesmos dados ≈ 17.635 tokens (redução de 64,6%)
  • CSV: ≈ 15.583 tokens (mais compacto, mas sem estrutura)

TOON fornece o melhor equilíbrio entre compacidade e integridade estrutural para aplicações LLM.

Visão geral do formato

Objetos: Pares chave-valor simples com indentação para aninhamento

id: 123
name: Ada
active: true

Arrays: Comprimento declarado entre colchetes, arrays primitivos inline

tags[3]: reading,gaming,coding

Arrays tabulares: Objetos uniformes formatados como tabelas com cabeçalhos de campos

items[2]{sku,qty,price}:
  A1,2,9.99
  B2,1,14.5

Regras de aspas: Strings são entre aspas apenas quando necessário (contêm delimitadores, dois pontos ou parecem outros tipos)

Notas de conversão

Ao converter JSON para TOON:

  • Arrays uniformes de objetos usam automaticamente formato tabular
  • Estruturas aninhadas mantêm indentação apropriada
  • Tipos não-JSON (undefined, funções) são convertidos para null
  • Datas são convertidas para strings ISO
  • Números evitam notação científica

Ao converter TOON para JSON:

  • Mantém formatação JSON padrão com indentação de 2 espaços
  • Valida comprimentos de arrays e consistência de campos
  • Escapa corretamente caracteres especiais
  • Preserva informações de tipo (números, booleanos, null)