Was ist das TOON-Format?

TOON (Token-Oriented Object Notation) ist ein kompaktes, menschenlesbares Datenserialisierungsformat, das speziell für große Sprachmodelle (LLMs) entwickelt wurde. Im Gegensatz zu JSON, das Feldnamen für jedes Objekt in einem Array wiederholt, deklariert TOON Feldnamen einmal und überträgt dann Daten in Zeilen—ähnlich wie CSV, aber mit expliziter Struktur. Dieses Design reduziert typischerweise die Token-Nutzung um 30-60% im Vergleich zu formatiertem JSON, besonders bei uniformen Objekt-Arrays. TOON kombiniert YAMLs einrückungsbasierte Struktur für verschachtelte Objekte mit der tabellarischen Effizienz von CSV, optimiert für LLM-Kontexte, wo Token-Kosten wichtig sind.

Tool-Beschreibung

Dieser Konverter wandelt Daten bidirektional zwischen JSON- und TOON-Formaten um. Fügen Sie einfach Ihre JSON-Daten ein, um kompakte TOON-Ausgabe zu generieren, oder konvertieren Sie TOON zurück zu Standard-JSON. Das Tool verwendet die offizielle @toon-format/toon-Bibliothek, um genaue Konvertierung zu gewährleisten. TOON ist besonders effektiv für Datensätze mit sich wiederholenden Strukturen—wie Benutzerdatensätze, Transaktionsprotokolle, API-Antworten oder beliebige tabellarische Daten—wo die Reduzierung der Token-Anzahl die Effizienz bei der Arbeit mit LLMs verbessert.

Beispiele

JSON-Eingabe:

{
  "users": [
    { "id": 1, "name": "Alice", "role": "admin" },
    { "id": 2, "name": "Bob", "role": "user" }
  ]
}

TOON-Ausgabe:

users[2]{id,name,role}:
  1,Alice,admin
  2,Bob,user

Beispiel verschachtelter Struktur:

JSON mit verschachtelten Objekten wird zu eingerücktem TOON-Format konvertiert:

{
  "order": {
    "id": "ORD-456",
    "items": [
      { "sku": "A1", "qty": 2, "price": 19.99 },
      { "sku": "B2", "qty": 1, "price": 29.99 }
    ],
    "total": 69.97
  }
}

Wird zu:

order:
  id: ORD-456
  items[2]{sku,qty,price}:
    A1,2,19.99
    B2,1,29.99
  total: 69.97

Funktionen

  • Bidirektionale Konvertierung zwischen JSON- und TOON-Formaten mit voller Genauigkeit
  • Signifikante Token-Reduktion (30-60% weniger Tokens vs JSON für uniforme Arrays)
  • Erhalt der Datenstruktur einschließlich verschachtelter Objekte, Arrays und primitiver Werte
  • Automatische Formaterkennung und optimale Kodierungsstrategie
  • Menschenlesbare Ausgabe mit klarer tabellarischer Struktur für uniforme Daten
  • Typsichere Konvertierung mit korrekter Beibehaltung von Zahlen, Booleans, null und Strings
  • Behandlung von Sonderfällen einschließlich leerer Arrays, verschachtelter Strukturen und gemischter Typen
  • Echtzeitkonvertierung mit sofortigen Ergebnissen bei der Eingabe

Anwendungsfälle

  1. LLM-API-Optimierung - Reduzierung der Token-Kosten beim Senden strukturierter Daten an GPT, Claude oder andere LLMs durch Konvertierung von JSON-Payloads ins TOON-Format vor API-Aufrufen
  2. Datenanalyse-Prompts - Vorbereitung von Datensätzen für LLM-Analysen mit effizienterer Kodierung, die größere Datensätze innerhalb von Kontextgrenzen ermöglicht
  3. Strukturierte Datengenerierung - Verwendung von TOON in Prompts, um LLMs aufzufordern, tabellarische Daten effizienter als JSON zu generieren
  4. Log-Verarbeitung - Konvertierung von Anwendungsprotokollen oder Analysedaten in kompaktes Format für LLM-basierte Analyse und Zusammenfassung
  5. Konfigurationsverwaltung - Umwandlung von Konfigurationsdateien in token-effizientes Format bei Verwendung von LLMs für Infrastrukturverwaltung oder DevOps-Aufgaben

Details zur Token-Effizienz

TOON erzielt erhebliche Token-Einsparungen durch mehrere Optimierungen:

  • Keine wiederholten Feldnamen - Deklariert Felder einmal im Header statt Wiederholung für jedes Objekt
  • Minimale Interpunktion - Entfernt redundante Klammern, geschweifte Klammern und Anführungszeichen, wo sicher
  • Tabellarisches Format - Verwendet CSV-ähnliche Zeilen für uniforme Objekt-Arrays
  • Trennzeichen-Flexibilität - Unterstützt Komma (Standard), Tab oder Pipe für optimale Tokenisierung

Token-Vergleichsbeispiel (mit GPT-5-Tokenizer):

  • JSON (formatiert): 100 Mitarbeiterdatensätze ≈ 49.776 Tokens
  • TOON: Gleiche Daten ≈ 17.635 Tokens (64,6% Reduktion)
  • CSV: ≈ 15.583 Tokens (am kompaktesten, aber ohne Struktur)

TOON bietet die beste Balance zwischen Kompaktheit und struktureller Integrität für LLM-Anwendungen.

Formatübersicht

Objekte: Einfache Schlüssel-Wert-Paare mit Einrückung für Verschachtelung

id: 123
name: Ada
active: true

Arrays: Länge in eckigen Klammern deklariert, primitive Arrays inline

tags[3]: reading,gaming,coding

Tabellarische Arrays: Uniforme Objekte als Tabellen mit Feldheadern formatiert

items[2]{sku,qty,price}:
  A1,2,9.99
  B2,1,14.5

Anführungszeichenregeln: Strings werden nur bei Bedarf in Anführungszeichen gesetzt (enthalten Trennzeichen, Doppelpunkte oder sehen wie andere Typen aus)

Konvertierungshinweise

Bei der Konvertierung von JSON zu TOON:

  • Uniforme Objekt-Arrays verwenden automatisch tabellarisches Format
  • Verschachtelte Strukturen behalten korrekte Einrückung bei
  • Nicht-JSON-Typen (undefined, Funktionen) werden zu null konvertiert
  • Daten werden zu ISO-Strings konvertiert
  • Zahlen vermeiden wissenschaftliche Notation

Bei der Konvertierung von TOON zu JSON:

  • Behält Standard-JSON-Formatierung mit 2-Leerzeichen-Einrückung bei
  • Validiert Array-Längen und Feldkonsistenz
  • Escaped Sonderzeichen korrekt
  • Bewahrt Typinformationen (Zahlen, Booleans, null)