Co to jest TOON?

TOON (Token-Oriented Object Notation) jest zwartym, czytelnym dla człowieka formatem serializacji danych, zaprojektowanym specjalnie dla Large Language Models (LLMs). W przeciwieństwie do JSON, który powtarza nazwy pól dla każdego obiektu w tablicy, TOON deklaruje nazwy pól raz, a następnie przesyła dane w wierszach — podobnie jak CSV, ale z wyraźną strukturą. Taka konstrukcja zazwyczaj zmniejsza zużycie tokenów o 30‑60 % w porównaniu do sformatowanego JSON, szczególnie dla jednorodnych tablic obiektów. TOON łączy strukturę opartą na wcięciach YAML dla zagnieżdżonych obiektów z wydajnością tabelaryczną CSV, zoptymalizowaną pod kątem kontekstów LLM, w których koszt tokenów ma znaczenie.

Opis narzędzia

Ten walidator sprawdza składnię formatu TOON pod kątem poprawności i dostarcza szczegółowe statystyki dotyczące struktury danych. Parsuje wejście TOON przy użyciu oficjalnej biblioteki @toon-format/toon, waliduje składnię i wyświetla kompleksowe metryki, w tym liczbę znaków, liczbę linii, liczbę tablic, obiektów, wartości prymitywnych oraz łączną liczbę pól. Użyj tego narzędzia, aby zweryfikować integralność danych TOON przed wysłaniem do LLM lub aby przeanalizować złożoność struktury TOON.

Funkcje

  • Walidacja składni – weryfikuje poprawność formatu TOON przy użyciu oficjalnego parsera
  • Liczba znaków – całkowita liczba znaków w wejściu
  • Liczba linii – liczba wierszy w danych TOON
  • Wykrywanie tablic – liczy wszystkie struktury tablic w danych
  • Wykrywanie obiektów – liczy wszystkie struktury obiektów, w tym zagnieżdżone
  • Analiza prymitywów – liczy ciągi znaków, liczby, wartości logiczne i null
  • Zliczanie pól – sumuje wszystkie pola obiektów w całej strukturze
  • Walidacja w czasie rzeczywistym – natychmiastowa informacja zwrotna podczas pisania
  • Podświetlanie składni – specyficzne podświetlanie kodu TOON dla lepszej czytelności
  • Komunikaty o błędach – przejrzyste opisy błędów składni

Przypadki użycia

  1. Walidacja przed wysłaniem – weryfikacja składni TOON przed przesłaniem danych do API LLM, aby uniknąć błędów i zmarnowanych tokenów
  2. Analiza struktury – zrozumienie złożoności danych TOON poprzez badanie liczby tablic, obiektów i pól
  3. Nauka formatu – testowanie przykładów składni TOON w celu nauki formatu poprzez próbę i błąd z natychmiastową informacją zwrotną
  4. Kontrola jakości danych – zapewnienie prawidłowego formatowania danych TOON po ich wygenerowaniu lub konwersji z innych formatów
  5. Optymalizacja tokenów – analiza struktury TOON w celu wykrycia możliwości dalszej redukcji tokenów

Wyjaśnienie statystyk

Znaki: całkowita liczba znaków, włączając spacje i znaki nowej linii. Przydatne przy porównywaniu zwartności TOON w stosunku do JSON.

Linie: liczba wierszy w wejściu. Tabelaryczny format TOON zazwyczaj wymaga mniej linii niż sformatowany JSON.

Tablice: liczba struktur tablicowych. Tabelaryczne tablice TOON ([N]{fields}:) są bardziej efektywne pod względem tokenów niż tablice JSON przy jednorodnych danych.

Obiekty: liczba struktur obiektowych. Obejmuje zarówno obiekty główne, jak i zagnieżdżone obiekty w hierarchii danych.

Wartości prymitywne: łączna liczba wszystkich niekompozytowych wartości (ciągi znaków, liczby, wartości logiczne, null). Wskazuje gęstość danych.

Łączna liczba pól: suma wszystkich właściwości obiektów w całej strukturze. Duża liczba pól najbardziej korzysta z formatu TOON.

Proces walidacji

  1. Parsowanie wejścia TOON – używa funkcji dekodującej @toon-format/toon do parsowania ciągu wejściowego
  2. Walidacja składni – jeśli parsowanie się powiedzie, składnia TOON jest prawidłowa; w razie wyrzucenia błędu składnia jest nieprawidłowa
  3. Analiza struktury – rekurencyjnie przegląda sparsowane dane, licząc tablice, obiekty i prymitywy
  4. Obliczanie statystyk – wylicza liczbę znaków, liczbę linii oraz sumę pól
  5. Wyświetlanie wyników – prezentuje status walidacji oraz szczegółowe statystyki w obszarze wyników

Korzyści formatu TOON

  • 30‑60 % mniej tokenów niż JSON przy jednorodnych danych tabelarycznych
  • Jawna struktura z długościami tablic i deklaracjami pól
  • Przyjazny dla LLM dzięki zabezpieczeniom umożliwiającym walidację
  • Czytelny dla człowieka dzięki minimalnej składni i przejrzystej strukturze
  • Bezstratny sposób reprezentacji danych JSON bez utraty informacji

Kiedy używać TOON

TOON sprawdza się najlepiej w przypadku:

  • dużych zestawów danych z jednorodnymi strukturami tablic,
  • powtarzających się obiektów o tych samych polach,
  • odpowiedzi API z konsekwentnymi schematami,
  • wyników zapytań baz danych z stałymi kolumnami,
  • dowolnych danych JSON, w których koszt tokenów ma znaczenie.

W przypadku głęboko zagnieżdżonych lub niejednorodnych danych, JSON może pozostać bardziej efektywny.