O que é o formato TOON?

TOON (Token-Oriented Object Notation) é um formato de serialização de dados compacto e legível projetado especificamente para Modelos de Linguagem Grandes (LLMs). Ao contrário do JSON, que repete nomes de campos para cada objeto em um array, o TOON declara os nomes dos campos uma vez e depois transmite dados em linhas—semelhante ao CSV mas com estrutura explícita. Este design reduz tipicamente o uso de tokens em 30-60% comparado ao JSON formatado, especialmente para arrays uniformes de objetos. O TOON combina a estrutura baseada em indentação do YAML para objetos aninhados com a eficiência tabular do CSV, otimizado para contextos LLM onde os custos de tokens são importantes.

O que é XML?

XML (eXtensible Markup Language) é uma linguagem de marcação amplamente utilizada para codificar documentos num formato que é tanto legível por humanos quanto por máquinas. O XML usa tags para definir elementos e atributos, criando uma estrutura de árvore hierárquica. É comumente usado para ficheiros de configuração, troca de dados entre sistemas, serviços web (SOAP), formatos de documentos (Office Open XML) e feeds RSS. Embora o XML seja verboso e explícito, fornece capacidades de validação robustas e suporta estruturas aninhadas complexas.

Descrição da ferramenta

Este conversor transforma dados bidirecionalmente entre formatos TOON e XML usando JSON como formato intermédio. O processo de conversão é: TOON ↔ JSON ↔ XML. Esta abordagem garante conversão confiável aproveitando bibliotecas bem estabelecidas para cada etapa de transformação. Converta dados TOON eficientes em tokens para marcação XML padrão para sistemas que requerem entrada XML, ou transforme dados XML em formato TOON compacto para reduzir o uso de tokens em aplicações LLM.

Exemplos

Conversão TOON para XML:

Entrada (TOON):

users[2]{id,name,role}:
  1,Alice,admin
  2,Bob,user

Saída (XML):

<?xml version="1.0" encoding="UTF-8"?>
<root>
  <users>
    <id>1</id>
    <name>Alice</name>
    <role>admin</role>
  </users>
  <users>
    <id>2</id>
    <name>Bob</name>
    <role>user</role>
  </users>
</root>

Conversão XML para TOON:

Entrada (XML):

<?xml version="1.0" encoding="UTF-8"?>
<order>
  <id>ORD-456</id>
  <customer>John Doe</customer>
  <total>99.99</total>
</order>

Saída (TOON):

order:
  id: ORD-456
  customer: John Doe
  total: 99.99

Funcionalidades

  • Conversão bidirecional entre TOON e XML com preservação completa de dados
  • Formato intermédio JSON garante conversão confiável usando bibliotecas comprovadas
  • Lida com estruturas complexas incluindo elementos aninhados, atributos e arrays
  • Deteção automática de formato e estratégia de conversão ideal
  • Preserva hierarquia de dados mantendo relações pai-filho
  • Conversão consciente de tipos mantendo números, booleanos e strings intactos
  • Conversão em tempo real com resultados instantâneos
  • Realce de sintaxe para formatos TOON e XML

Casos de uso

  1. Integração de sistemas legados - Converter dados TOON modernos para formato XML para compatibilidade com sistemas empresariais antigos que requerem entrada XML
  2. Transformação de dados de API - Transformar respostas de API XML em formato TOON eficiente em tokens antes de enviar para LLMs para processamento e análise
  3. Conversão de ficheiros de configuração - Converter ficheiros de configuração XML para formato TOON para reduzir uso de tokens ao usar LLMs para gestão de infraestrutura
  4. Processamento de documentos - Transformar documentos XML (feeds RSS, respostas SOAP, documentos Office) em TOON para análise eficiente baseada em LLM
  5. Migração de dados - Converter dados entre sistemas que usam formatos diferentes, com TOON servindo como representação intermédia eficiente em tokens

Processo de conversão

TOON para XML:

  1. Analisar formato TOON para objeto JavaScript (usando @toon-format/toon decode)
  2. Converter objeto JavaScript para marcação XML (usando xml2js builder)
  3. Saída de XML formatado com indentação apropriada

XML para TOON:

  1. Analisar marcação XML para objeto JavaScript (usando xml2js parser)
  2. Converter objeto JavaScript para formato TOON (usando @toon-format/toon encode)
  3. Saída de representação TOON compacta

Notas sobre estrutura XML

Ao converter de TOON para XML:

  • As chaves do objeto raiz tornam-se elementos XML
  • Os arrays criam múltiplos elementos com o mesmo nome de tag
  • Os arrays TOON tabulares expandem-se para elementos XML individuais
  • As propriedades de objetos tornam-se elementos filho
  • Os valores são convertidos para conteúdo de texto

Ao converter de XML para TOON:

  • Os elementos XML tornam-se chaves de objeto
  • Os elementos repetidos tornam-se arrays
  • Os atributos são fundidos com o conteúdo do elemento
  • O conteúdo de texto torna-se valores string
  • Os elementos vazios tornam-se strings vazias ou null

Considerações de formato

Verbosidade do XML:

  • O XML é inerentemente verboso com tags de abertura/fecho
  • Cada elemento requer tanto tag de início quanto de fim
  • Os atributos adicionam caracteres extra
  • Bem adequado para marcação de documentos e validação

Eficiência do TOON:

  • Significativamente mais compacto para dados estruturados
  • Ideal para dados tabulares com estruturas repetidas
  • Reduz uso de tokens em 30-60% vs JSON
  • Otimizado para consumo LLM

Compensações:

  • O XML suporta atributos e conteúdo misto (texto + elementos)
  • O TOON sobressai em estruturas de dados uniformes
  • O XML tem capacidades de validação mais fortes
  • O TOON tem melhor eficiência em tokens para LLMs

Qualidade da conversão

O formato intermédio JSON garante:

  • Integridade de dados - sem perda de dados durante a conversão
  • Preservação de tipos - números, booleanos e valores null mantidos
  • Consistência de estrutura - relações aninhadas preservadas
  • Transformação confiável - usando bibliotecas comprovadas (xml2js e @toon-format/toon)
  • Tratamento de erros - mensagens de erro claras para entrada inválida