Hva er TOON-formatet?

TOON (Token-Oriented Object Notation) er et kompakt, lesbart dataserialiseringsformat designet spesifikt for store språkmodeller (LLM-er). I motsetning til JSON, som gjentar feltnavn for hvert objekt i en matrise, deklarerer TOON feltnavn én gang og deretter overfører data i rader—likt CSV men med eksplisitt struktur. Dette designet reduserer typisk tokenbruk med 30-60% sammenlignet med formatert JSON, spesielt for ensartede objektmatriser. TOON kombinerer YAMLs innrykksbaserte struktur for nestede objekter med CSVs tabellariske effektivitet, optimalisert for LLM-kontekster hvor tokenkostnader er viktige.

Verktøybeskrivelse

Denne konverteren transformerer data mellom JSON- og TOON-formater toveis. Lim bare inn JSON-dataene dine for å generere kompakt TOON-utdata, eller konverter TOON tilbake til standard JSON. Verktøyet bruker det offisielle @toon-format/toon-biblioteket for å sikre nøyaktig konvertering. TOON er spesielt effektivt for datasett med gjentatte strukturer—som brukerposter, transaksjonslogger, API-svar eller alle tabulære data—hvor reduksjon av tokenantall forbedrer effektiviteten ved arbeid med LLM-er.

Eksempler

JSON-inndata:

{
  "users": [
    { "id": 1, "name": "Alice", "role": "admin" },
    { "id": 2, "name": "Bob", "role": "user" }
  ]
}

TOON-utdata:

users[2]{id,name,role}:
  1,Alice,admin
  2,Bob,user

Eksempel på nestet struktur:

JSON med nestede objekter konverteres til innrykket TOON-format:

{
  "order": {
    "id": "ORD-456",
    "items": [
      { "sku": "A1", "qty": 2, "price": 19.99 },
      { "sku": "B2", "qty": 1, "price": 29.99 }
    ],
    "total": 69.97
  }
}

Blir til:

order:
  id: ORD-456
  items[2]{sku,qty,price}:
    A1,2,19.99
    B2,1,29.99
  total: 69.97

Funksjoner

  • Toveis konvertering mellom JSON- og TOON-formater med full nøyaktighet
  • Betydelig tokenreduksjon (30-60% færre tokens vs JSON for ensartede matriser)
  • Bevarer datastruktur inkludert nestede objekter, matriser og primitive verdier
  • Automatisk formatgjenkjenning og optimal kodingsstrategi
  • Lesbar utdata med tydelig tabellstruktur for ensartede data
  • Typesikker konvertering som bevarer tall, boolske verdier, null og strenger korrekt
  • Håndterer spesialtilfeller inkludert tomme matriser, nestede strukturer og blandede typer
  • Sanntidskonvertering med øyeblikkelige resultater mens du skriver

Bruksområder

  1. LLM API-optimalisering - Reduser tokenkostnader ved sending av strukturerte data til GPT, Claude eller andre LLM-er ved å konvertere JSON-payloads til TOON-format før API-kall
  2. Dataanalyse-prompts - Forbered datasett for LLM-analyse med mer effektiv koding, som tillater større datasett innenfor kontekstgrenser
  3. Strukturert datagenerering - Bruk TOON i prompts for å be LLM-er generere tabulære data mer effektivt enn JSON
  4. Loggbehandling - Konverter applikasjonslogger eller analysedata til kompakt format for LLM-basert analyse og oppsummering
  5. Konfigurasjonsstyring - Transformer konfigurasjonsfiler til tokeneffektivt format ved bruk av LLM-er for infrastrukturstyring eller DevOps-oppgaver

Detaljer om tokeneffektivitet

TOON oppnår betydelige tokenbesparelser gjennom flere optimaliseringer:

  • Ingen gjentatte feltnavn - Deklarerer felt én gang i header i stedet for gjentagelse for hvert objekt
  • Minimal tegnsetting - Fjerner overflødige parenteser, krøllparenteser og anførselstegn der det er trygt
  • Tabellformat - Bruker CSV-lignende rader for ensartede objektmatriser
  • Skilletegn-fleksibilitet - Støtter komma (standard), tab eller pipe for optimal tokenisering

Eksempel på tokensammenligning (med GPT-5 tokenizer):

  • JSON (formatert): 100 ansattposter ≈ 49 776 tokens
  • TOON: Samme data ≈ 17 635 tokens (64,6% reduksjon)
  • CSV: ≈ 15 583 tokens (mest kompakt, men uten struktur)

TOON gir den beste balansen mellom kompakthet og strukturell integritet for LLM-applikasjoner.

Formatoversikt

Objekter: Enkle nøkkel-verdi-par med innrykk for nesting

id: 123
name: Ada
active: true

Matriser: Lengde deklarert i klammeparenteser, primitive matriser inline

tags[3]: reading,gaming,coding

Tabellmatriser: Ensartede objekter formatert som tabeller med feltheaders

items[2]{sku,qty,price}:
  A1,2,9.99
  B2,1,14.5

Anførselstegnregler: Strenger er i anførselstegn bare når nødvendig (inneholder skilletegn, kolon eller ligner andre typer)

Konverteringsmerknader

Ved konvertering av JSON til TOON:

  • Ensartede objektmatriser bruker automatisk tabellformat
  • Nestede strukturer opprettholder riktig innrykk
  • Ikke-JSON-typer (undefined, funksjoner) konverteres til null
  • Datoer konverteres til ISO-strenger
  • Tall unngår vitenskapelig notasjon

Ved konvertering av TOON til JSON:

  • Opprettholder standard JSON-formatering med 2-mellomroms innrykk
  • Validerer matriselengder og feltsamstemmighet
  • Escaper spesialtegn korrekt
  • Bevarer typeinformasjon (tall, boolske verdier, null)