Mikä on TOON?

TOON (Token-Oriented Object Notation) on tiivis, ihmisluettavissa oleva tietojen sarjoitusmuoto, joka on suunniteltu erityisesti Large Language Models (LLM)-malleille. Toisin kuin JSON, jossa kenttänimet toistuvat jokaisessa taulukon objektissa, TOON määrittelee kenttänimet kerran ja lähettää tiedot riveinä – samankaltaisesti CSV:n kanssa, mutta eksplisiittisellä rakenteella. Tämä suunnittelu vähentää tyypillisesti token‑käyttöä 30–60 % verrattuna muotoiltuun JSONiin, erityisesti yhtenäisissä objektitaulukoissa. TOON yhdistää YAML:n sisennysperusteisen rakenteen sisäkkäisille objekteille CSV:n taulukkotehokkuuden kanssa, optimoituna LLM‑ympäristöihin, joissa token‑kustannukset ovat merkittäviä.

Työkalun kuvaus

Tämä validointityökalu tarkistaa TOON‑muodon syntaksin oikeellisuuden ja tarjoaa yksityiskohtaiset tilastot tietorakenteesta. Se jäsentää TOON‑syötteen käyttäen virallista @toon-format/toon‑kirjastoa, validoi syntaksin ja tuottaa kattavat mittarit, kuten merkkimäärän, rivimäärän, taulukoiden, objektien, primitiiviarvojen ja kokonaiskenttämäärän. Käytä tätä työkalua TOON‑datan eheyden tarkistamiseen ennen lähettämistä LLM:ille tai TOON‑rakenteen monimutkaisuuden analysointiin.

Ominaisuudet

  • Syntaksin validointi – Vahvistaa TOON‑muodon oikeellisuuden virallisella parserilla
  • Merkkimäärä – Syötteen kokonaismerkkimäärä
  • Rivimäärä – TOON‑datan rivien lukumäärä

Tilastot selitettynä

Merkit: Kokonaismerkkimäärä, mukaan lukien välilyönnit ja rivinvaihdot. Hyödyllinen TOON‑tiiviyden vertaamiseen JSONiin.
Rivit: Syötteen rivimäärä. TOON:n taulukkomuoto käyttää yleensä vähemmän rivejä kuin muotoiltu JSON.
Taulukot: Taulukkorakenteiden lukumäärä. TOON:n taulukkotaulukot ([N]{fields}:) ovat tokenitehokkaampia kuin JSON‑taulukot yhtenäiselle datalle.
Objektit: Objektirakenteiden lukumäärä. Sisältää sekä juuriosoitteet että sisäkkäiset objektit datahierarkiassa.
Primitiiviarvot: Kaikkien ei‑yhdistettyjen arvojen (merkkijonot, numerot, booleanit, null) kokonaismäärä. Ilmaisee datan tiheyttä.
Kokonaiskentät: Kaikkien objektien ominaisuuksien summa koko rakenteessa. Suuret kenttämäärät hyötyvät eniten TOON‑muodosta.

Validointiprosessi

  1. Jäsennä TOON‑syöte – Käyttää @toon-format/toon‑dekoodausfunktiota syötemerkin jäsentämiseen
  2. Validoi syntaksi – Jos jäsentäminen onnistuu, TOON‑syntaksi on kelvollinen; jos se heittää virheen, syntaksi on virheellinen
  3. Analysoi rakenne – Rekursiivisesti käy läpi jäsennetyn datan laskeakseen taulukot, objektit ja primitiivit
  4. Laske tilastot – Laskee merkkimäärän, rivimäärän ja kenttien kokonaismäärän
  5. Näytä tulokset – Esittää validointitilan ja yksityiskohtaiset tilastot tulostusalueella

TOON‑muodon edut

  • 30–60 % vähemmän tokenia kuin JSON yhtenäiselle taulukkodatalle
  • Eksplisiittinen rakenne – taulukoiden pituudet ja kenttämäärittelyt
  • LLM‑ystävällinen – suojarakenteilla, jotka mahdollistavat validoinnin
  • Ihmisluettavissa – minimaalinen syntaksi ja selkeä rakenne
  • Häviötön – JSON‑datan esitys ilman tietojen menettämistä

Milloin käyttää TOONia

TOON loistaa:

  • Suurissa tietoaineistoissa, joissa on yhtenäiset taulukkorakenteet
  • Toistuvissa objekteissa, joilla on samat kentät
  • API‑vastauksissa, joissa on johdonmukaiset skeemat
  • Tietokantakyselyn tuloksissa, joissa on kiinteät sarakkeet
  • Kaikessa JSON‑datassa, jossa tokenikustannukset ovat merkittäviä

Syvästi sisäkkäisessä tai epäyhtenäisessä datassa JSON voi olla edelleen tehokkaampi.