Mikä on TOON?

TOON (Token-Oriented Object Notation) on tiivis, ihmisluettavissa oleva tietojen sarjoitusmuoto, joka on suunniteltu erityisesti Large Language Models (LLM)-malleille. Toisin kuin JSON, jossa kenttänimet toistuvat jokaisessa taulukon objektissa, TOON määrittelee kenttänimet kerran ja lähettää tiedot riveinä – samankaltaisesti CSV:n kanssa, mutta eksplisiittisellä rakenteella. Tämä suunnittelu vähentää tyypillisesti token‑käyttöä 30–60 % verrattuna muotoiltuun JSONiin, erityisesti yhtenäisissä objektitaulukoissa. TOON yhdistää YAML:n sisennysperusteisen rakenteen sisäkkäisille objekteille CSV:n taulukkotehokkuuden kanssa, optimoituna LLM‑ympäristöihin, joissa token‑kustannukset ovat merkittäviä.

Työkalun kuvaus

Tämä validointityökalu tarkistaa TOON‑muodon syntaksin oikeellisuuden ja tarjoaa yksityiskohtaiset tilastot tietorakenteesta. Se jäsentää TOON‑syötteen käyttäen virallista @toon-format/toon‑kirjastoa, validoi syntaksin ja tuottaa kattavat mittarit, kuten merkkimäärän, rivimäärän, taulukoiden, objektien, primitiiviarvojen ja kokonaiskenttämäärän. Käytä tätä työkalua TOON‑datan eheyden tarkistamiseen ennen lähettämistä LLM:ille tai TOON‑rakenteen monimutkaisuuden analysointiin.

Ominaisuudet

  • Syntaksin validointi – Vahvistaa TOON‑muodon oikeellisuuden virallisella parserilla
  • Merkkimäärä – Syötteen kokonaismerkkimäärä
  • Rivimäärä – TOON‑datan rivien lukumäärä
  • Taulukkojen havaitseminen – Laskee kaikki taulukkorakenteet datassa
  • Objektien havaitseminen – Laskee kaikki objektirakenteet, myös sisäkkäiset
  • Primitiivianalyysi – Laskee merkkijonot, numerot, boolean‑arvot ja null‑arvot
  • Kenttälaskenta – Laskee kaikki objektikentät koko rakenteessa
  • Reaaliaikainen validointi – Välitön palaute kirjoittaessa
  • Syntaksin korostus – TOON‑spesifinen koodin korostus paremman luettavuuden vuoksi
  • Virheilmoitukset – Selkeät virhekuvaukset virheelliselle syntaksille

Käyttötapaukset

  1. Ennen lähettämistä tapahtuva validointi – Vahvista TOON‑syntaksi ennen datan lähettämistä LLM API:ihin virheiden ja turhien tokenien välttämiseksi
  2. Rakenneanalyysi – Ymmärrä TOON‑datan monimutkaisuus tarkastelemalla taulukoiden, objektien ja kenttien määriä
  3. Muodon oppiminen – Testaa TOON‑syntaksiesimerkkejä oppiaksesi muodon kokeilemalla ja saaden välittömän palautteen
  4. Datan laadun tarkistus – Varmista, että TOON‑data on oikein muotoiltu generoinnin tai muun formaatin muunnoksen jälkeen
  5. Tokenien optimointi – Analysoi TOON‑rakenne löytääksesi mahdollisuuksia tokenien lisävähennykseen

Tilastot selitettynä

Merkit: Kokonaismerkkimäärä, mukaan lukien välilyönnit ja rivinvaihdot. Hyödyllinen TOON‑tiiviyden vertaamiseen JSONiin.
Rivit: Syötteen rivimäärä. TOON:n taulukkomuoto käyttää yleensä vähemmän rivejä kuin muotoiltu JSON.
Taulukot: Taulukkorakenteiden lukumäärä. TOON:n taulukkotaulukot ([N]{fields}:) ovat tokenitehokkaampia kuin JSON‑taulukot yhtenäiselle datalle.
Objektit: Objektirakenteiden lukumäärä. Sisältää sekä juuriosoitteet että sisäkkäiset objektit datahierarkiassa.
Primitiiviarvot: Kaikkien ei‑yhdistettyjen arvojen (merkkijonot, numerot, booleanit, null) kokonaismäärä. Ilmaisee datan tiheyttä.
Kokonaiskentät: Kaikkien objektien ominaisuuksien summa koko rakenteessa. Suuret kenttämäärät hyötyvät eniten TOON‑muodosta.

Validointiprosessi

  1. Jäsennä TOON‑syöte – Käyttää @toon-format/toon‑dekoodausfunktiota syötemerkin jäsentämiseen
  2. Validoi syntaksi – Jos jäsentäminen onnistuu, TOON‑syntaksi on kelvollinen; jos se heittää virheen, syntaksi on virheellinen
  3. Analysoi rakenne – Rekursiivisesti käy läpi jäsennetyn datan laskeakseen taulukot, objektit ja primitiivit
  4. Laske tilastot – Laskee merkkimäärän, rivimäärän ja kenttien kokonaismäärän
  5. Näytä tulokset – Esittää validointitilan ja yksityiskohtaiset tilastot tulostusalueella

TOON‑muodon edut

  • 30–60 % vähemmän tokenia kuin JSON yhtenäiselle taulukkodatalle
  • Eksplisiittinen rakenne – taulukoiden pituudet ja kenttämäärittelyt
  • LLM‑ystävällinen – suojarakenteilla, jotka mahdollistavat validoinnin
  • Ihmisluettavissa – minimaalinen syntaksi ja selkeä rakenne
  • Häviötön – JSON‑datan esitys ilman tietojen menettämistä

Milloin käyttää TOONia

TOON loistaa:

  • Suurissa tietoaineistoissa, joissa on yhtenäiset taulukkorakenteet
  • Toistuvissa objekteissa, joilla on samat kentät
  • API‑vastauksissa, joissa on johdonmukaiset skeemat
  • Tietokantakyselyn tuloksissa, joissa on kiinteät sarakkeet
  • Kaikessa JSON‑datassa, jossa tokenikustannukset ovat merkittäviä

Syvästi sisäkkäisessä tai epäyhtenäisessä datassa JSON voi olla edelleen tehokkaampi.