Was ist TOON?

TOON (Token-Oriented Object Notation) ist ein kompaktes, menschenlesbares Datenserialisierungsformat, das speziell für Große Sprachmodelle (LLMs) entwickelt wurde. Im Gegensatz zu JSON, das Feldnamen für jedes Objekt in einem Array wiederholt, deklariert TOON Feldnamen einmal und überträgt dann Daten in Zeilen—ähnlich wie CSV, aber mit expliziter Struktur. Dieses Design reduziert typischerweise die Token-Nutzung um 30-60% im Vergleich zu formatiertem JSON, insbesondere für einheitliche Arrays von Objekten. TOON kombiniert die einrückungsbasierte Struktur von YAML für verschachtelte Objekte mit der tabellarischen Effizienz von CSV, optimiert für LLM-Kontexte, in denen Token-Kosten wichtig sind.

Tool-Beschreibung

Dieser Validator überprüft die TOON-Format-Syntax auf Korrektheit und liefert detaillierte Statistiken über die Datenstruktur. Er analysiert TOON-Eingaben mit der offiziellen @toon-format/toon-Bibliothek, validiert die Syntax und gibt umfassende Metriken aus, einschließlich Zeichenanzahl, Zeilenanzahl, Anzahl von Arrays, Objekten, primitiven Werten und Gesamtfeldanzahl. Verwenden Sie dieses Tool, um die Integrität von TOON-Daten vor dem Senden an LLMs zu überprüfen oder die Komplexität der TOON-Struktur zu analysieren.

Funktionen

  • Syntaxvalidierung - Überprüft die Korrektheit des TOON-Formats mit dem offiziellen Parser
  • Zeichenzählung - Gesamtanzahl der Zeichen in der Eingabe
  • Zeilenzählung - Anzahl der Zeilen in den TOON-Daten
  • Array-Erkennung - Zählt alle Array-Strukturen in den Daten
  • Objekt-Erkennung - Zählt alle Objektstrukturen einschließlich verschachtelter
  • Primitive-Analyse - Zählt Strings, Zahlen, Booleans und Null-Werte
  • Feldzählung - Summiert alle Objektfelder über die gesamte Struktur
  • Echtzeit-Validierung - Sofortiges Feedback beim Tippen
  • Syntax-Hervorhebung - TOON-spezifische Code-Hervorhebung für bessere Lesbarkeit
  • Fehlermeldungen - Klare Fehlerbeschreibungen für ungültige Syntax

Anwendungsfälle

  1. Vor-Übermittlungs-Validierung - TOON-Syntax vor dem Senden von Daten an LLM-APIs überprüfen, um Fehler und verschwendete Token zu vermeiden
  2. Strukturanalyse - Die Komplexität von TOON-Daten durch Untersuchung von Array-, Objekt- und Feldanzahlen verstehen
  3. Format-Lernen - TOON-Syntax-Beispiele durch Trial-and-Error mit sofortigem Feedback testen, um das Format zu erlernen
  4. Datenqualitätsprüfung - Sicherstellen, dass TOON-Daten nach Generierung oder Konvertierung aus anderen Formaten korrekt formatiert sind
  5. Token-Optimierung - TOON-Struktur analysieren, um Möglichkeiten zur weiteren Token-Reduzierung zu identifizieren

Statistiken erklärt

Zeichen: Gesamtzeichenanzahl einschließlich Leerzeichen und Zeilenumbrüche. Nützlich zum Vergleich der TOON-Kompaktheit mit JSON.

Zeilen: Anzahl der Zeilen in der Eingabe. TOONs tabellarisches Format verwendet typischerweise weniger Zeilen als formatiertes JSON.

Arrays: Anzahl der Array-Strukturen. TOONs tabellarische Arrays ([N]{fields}:) sind token-effizienter als JSON-Arrays für einheitliche Daten.

Objekte: Anzahl der Objektstrukturen. Beinhaltet sowohl Root-Objekte als auch verschachtelte Objekte in der Datenhierarchie.

Primitive Werte: Gesamtanzahl aller nicht-zusammengesetzten Werte (Strings, Zahlen, Booleans, Null). Zeigt Datendichte an.

Gesamtfelder: Summe aller Objekteigenschaften über die gesamte Struktur. Hohe Feldanzahlen profitieren am meisten vom TOON-Format.

Validierungsprozess

  1. TOON-Eingabe parsen - Verwendet die decode-Funktion von @toon-format/toon zum Parsen der Eingabezeichenkette
  2. Syntax validieren - Wenn das Parsen erfolgreich ist, ist die TOON-Syntax gültig; wenn ein Fehler auftritt, ist die Syntax ungültig
  3. Struktur analysieren - Durchläuft rekursiv die geparsten Daten, um Arrays, Objekte und Primitive zu zählen
  4. Statistiken berechnen - Berechnet Zeichenanzahl, Zeilenanzahl und Gesamtfeldanzahl
  5. Ergebnisse anzeigen - Zeigt Validierungsstatus und detaillierte Statistiken im Ausgabebereich

Vorteile des TOON-Formats

  • 30-60% weniger Token als JSON für einheitliche tabellarische Daten
  • Explizite Struktur mit Array-Längen und Felddeklarationen
  • LLM-freundlich mit Schutzmaßnahmen, die Validierung ermöglichen
  • Menschenlesbar mit minimaler Syntax und klarer Struktur
  • Verlustfreie Darstellung von JSON-Daten ohne Informationsverlust

Wann TOON verwenden

TOON glänzt bei:

  • Großen Datensätzen mit einheitlichen Array-Strukturen
  • Wiederholten Objekten mit denselben Feldern
  • API-Antworten mit konsistenten Schemas
  • Datenbank-Abfrageergebnissen mit festen Spalten
  • Beliebigen JSON-Daten, bei denen Token-Kosten wichtig sind

Für tief verschachtelte oder nicht-einheitliche Daten kann JSON effizienter bleiben.