Mikä on TOON-muoto?

TOON (Token-Oriented Object Notation) on tiivis, ihmisen luettavissa oleva tietojen sarjoitusmuoto, joka on suunniteltu erityisesti suurille kielimalleille (LLM). Toisin kuin JSON, jossa kenttänimet toistetaan jokaisessa taulukon objektissa, TOON määrittelee kenttänimet kerran ja lähettää sen jälkeen tiedot riveinä – samankaltainen kuin CSV, mutta selkeällä rakenteella. Tämä suunnittelu vähentää yleensä token‑käyttöä 30–60 % verrattuna muotoiltuun JSONiin, erityisesti yhtenäisissä objektitaulukoissa. TOON yhdistää YAML:n sisennysperusteisen rakenteen sisäkkäisille objekteille CSV:n taulukkotehokkuuden kanssa, optimoituna LLM-ympäristöihin, joissa token‑kustannukset ovat merkittäviä.

Työkalun kuvaus

Tämä muunnin muuntaa tietoja JSON- ja TOON-muotojen välillä kaksisuuntaisesti. Liitä vain JSON-datasi saadaksesi tiiviin TOON‑ulostulon tai muunna TOON takaisin tavalliseen JSONiin. Työkalu käyttää virallista @toon-format/toon‑kirjastoa tarkkaan muunnokseen. TOON on erityisen tehokas tietoaineistoissa, joissa on toistuvia rakenteita – kuten käyttäjätietueet, tapahtumalokit, API‑vastaukset tai mikä tahansa taulukkodata – joissa token‑määrän vähentäminen parantaa tehokkuutta LLM:ien kanssa työskennellessä.

Esimerkit

JSON Input:

{
  "users": [
    { "id": 1, "name": "Alice", "role": "admin" },
    { "id": 2, "name": "Bob", "role": "user" }
  ]
}

TOON Output:

users[2]{id,name,role}:
  1,Alice,admin
  2,Bob,user

Nested Structure Example:

JSON sisäkkäisillä objekteilla muunnetaan sisennettyyn TOON‑muotoon:

{
  "order": {
    "id": "ORD-456",
    "items": [
      { "sku": "A1", "qty": 2, "price": 19.99 },
      { "sku": "B2", "qty": 1, "price": 29.99 }
    ],
    "total": 69.97
  }
}

Muutuu:

order:
  id: ORD-456
  items[2]{sku,qty,price}:
    A1,2,19.99
    B2,1,29.99
  total: 69.97

Ominaisuudet

  • Kaksisuuntainen muunnos JSON- ja TOON-muotojen välillä täydellisellä tarkkuudella
  • Merkittävä token‑vähennys (30–60 % vähemmän tokeneita verrattuna JSONiin yhtenäisissä taulukoissa)
  • Säilyttää tietorakenteen, mukaan lukien sisäkkäiset objektit, taulukot ja primitiiviset arvot
  • Automaattinen formaatin tunnistus ja optimaalinen koodausstrategia
  • Ihmisen luettavissa oleva ulostulo selkeällä taulukkorakenteella yhtenäiselle datalle
  • Tyyppiturvallinen muunnos, joka säilyttää numerot, booleanit, null‑arvot ja merkkijonot oikein
  • Käsittelee reunatapauksia, kuten tyhjät taulukot, sisäkkäiset rakenteet ja sekoitetut tyypit
  • Reaaliaikainen muunnos, jossa tulokset näkyvät välittömästi kirjoittaessasi

Käyttötapaukset

  1. LLM API -optimointi – Vähennä token‑kustannuksia lähetettäessä strukturoitua dataa GPT:lle, Claude:lle tai muille LLM:ille muuntamalla JSON‑payloadit TOON‑muotoon ennen API‑kutsuja
  2. Data‑analyysi‑kehotteet – Valmistele tietoaineistoja LLM‑analyysiin tehokkaammalla koodauksella, mahdollistaen suuremmat tietoaineistot kontekstirajoissa
  3. Strukturoitu datan generointi – Käytä TOONia kehotteissa pyytääksesi LLM:itä tuottamaan taulukkodataa tehokkaammin kuin JSON
  4. Lokien käsittely – Muunna sovelluslokit tai analytiikkadata tiiviiseen muotoon LLM‑pohjaista analyysiä ja tiivistämistä varten
  5. Konfiguraation hallinta – Muunna konfiguraatiotiedostot tokenitehokkaaseen muotoon, kun käytetään LLM:itä infrastruktuurin hallintaan tai DevOps‑tehtäviin

Tokenitehokkuuden tiedot

TOON saavuttaa merkittävän token‑säästön useiden optimointien avulla:

  • Ei toistuvia kenttänimiä – Määrittelee kentät kerran otsikossa sen sijaan, että toistettaisiin jokaiselle objektille
  • Vähäisin välimerkit – Poistaa turhat hakasulkeet, aaltosulkeet ja lainausmerkit, kun se on turvallista
  • Taulukkomuoto – Käyttää CSV:n kaltaisia rivejä yhtenäisille objektitaulukoille
  • Erotin joustavuus – Tukee pilkkua (oletus), sarkainta tai pystyviivaa erotinmerkkeinä optimaalista tokenisointia varten

Tokenien vertailuesimerkki (käyttäen GPT-5 tokenisoijaa):

  • JSON (muotoiltu): 100 työntekijärekisteriä ≈ 49 776 tokenia
  • TOON: Sama data ≈ 17 635 tokenia (64,6 % vähennys)
  • CSV: ≈ 15 583 tokenia (tiiviin kompaktin, mutta rakenteen puuttuva)

TOON tarjoaa parhaan tasapainon tiiviyden ja rakenteellisen eheyden välillä LLM‑sovelluksille.

Muodon yleiskatsaus

Objektit: Yksinkertaiset avain‑arvo‑parit sisennyksellä sisäkkäisyyttä varten

id: 123
name: Ada
active: true

Taulukot: Pituus ilmoitettu hakasulkeissa, primitiiviset taulukot samassa rivissä

tags[3]: reading,gaming,coding

Taulukkotaulukot: Yhtenäiset objektit muotoiltu taulukoiksi kenttäotsikoilla

items[2]{sku,qty,price}:
  A1,2,9.99
  B2,1,14.5

Lainauskäytännöt: Merkkijonot lainataan vain tarvittaessa (jos ne sisältävät erotinmerkkejä, kaksoispisteitä tai näyttävät muilta tyypeiltä)

Muunnosmuistiinpanot

Kun JSON muunnetaan TOONiksi:

  • Yhtenäiset objektitaulukot käyttävät automaattisesti taulukkomuotoa
  • Sisäkkäiset rakenteet säilyttävät oikean sisennyksen
  • Ei‑JSON‑tyypit (undefined, funktiot) muunnetaan nulliksi
  • Päivämäärät muunnetaan ISO‑merkkijonoiksi
  • Numerot vältetään tieteellistä merkintätapaa

Kun TOON muunnetaan JSONiksi:

  • Säilyttää standardin JSON‑muotoilun, jossa on 2‑välin sisennys
  • Validioi taulukon pituudet ja kenttien johdonmukaisuuden
  • Pakottaa erikoismerkit oikein
  • Säilyttää tyyppitiedon (numerot, booleanit, null)