Mikä on TOON (Token-Oriented Object Notation)?

TOON on kompakti, ihmisen luettavissa oleva tietomuoto, joka on suunniteltu erityisesti Large Language Models (LLM) -mallien kanssa työskentelemiseen. Se vähentää token‑käyttöä 30–60 % verrattuna JSON:iin säilyttäen luettavuuden ja rakenteen. TOON käyttää sisennykseen perustuvaa muotoilua, joka muistuttaa YAML:ia, ja poistaa turhaa välimerkkejä määrittelemällä kenttänimet kerran taulukkotietoja varten, mikä tekee siitä ihanteellisen rakenteellisen datan siirtämiseen AI‑malleille, joissa token‑kustannukset ovat merkittäviä.

Työkalun kuvaus

Random TOON Generator luo realistista testidataa TOON‑muodossa Faker.js‑kirjastoa hyödyntäen. Määritä tietorakenteesi JSON‑mallilla, jossa on Faker.js‑paikkamerkkejä (esim. {{person.firstName}} tai {{number.int(1,100)}}), ja työkalu tuottaa useita dummy‑tietueita token‑tehokkaassa TOON‑muodossa. Täydellinen LLM‑sovellusten testaamiseen, esimerkkidatasetien luomiseen tai mock‑API‑vastausten tuottamiseen formaattina, joka on sekä AI‑ystävällinen että kustannustehokas.

Esimerkit

Syötemalli:

[
  {
    "id": "{{string.uuid}}",
    "firstName": "{{person.firstName}}",
    "email": "{{internet.email}}",
    "age": "{{number.int(18,80)}}"
  }
]

Tuloste (5 tietuetta pilkku‑erottimella):

[5]{id,firstName,email,age}:
  a1b2c3d4-e5f6-7890-abcd-ef1234567890,Alice,alice.smith@example.com,45
  b2c3d4e5-f6a7-8901-bcde-fa2345678901,Bob,bob.jones@test.org,28
  c3d4e5f6-a7b8-9012-cdef-ab3456789012,Charlie,charlie.brown@demo.net,67
  d4e5f6a7-b8c9-0123-defa-bc4567890123,Diana,diana.wilson@sample.io,33
  e5f6a7b8-c9d0-1234-efab-cd5678901234,Eve,eve.davis@mock.com,52

Ominaisuudet

  • Faker.js‑integraatio: Käytä yli 100 Faker.js‑menetelmää realistisen testidatan (nimet, sähköpostiosoitteet, osoitteet, päivämäärät, numerot jne.) luomiseen.
  • Mallipohjainen generointi: Määritä tietorakenteesi kerran JSON‑mallin ja paikkamerkkien avulla.
  • Useita erotinvaihtoehtoja: Valitse pilkku (oletus), sarkain tai pystyviiva (pipe) erotin optimaalisen token‑tehokkuuden saavuttamiseksi.
  • Erägenerointi: Luo useita tietueita kerralla automaattisella taulukon yhdistämisellä.
  • Token‑tehokas tuloste: Vähennä LLM‑token‑kustannuksia 30–60 % verrattuna vastaavaan JSON‑dataan.
  • Taulukkomuoto: Käyttää automaattisesti TOON:n tehokasta taulukkomuotoa yhtenäisten tietorakenteiden varten.
  • Live‑esikatselu: Näe TOON‑tulosteen päivittyvän, kun muokkaat mallia.

Käyttötapaukset

  • Luo mock‑käyttäjädataa AI‑chatbotien tai LLM‑sovellusten testaamiseen.
  • Luo esimerkkidatasettiä koulutukseen tai dataputkien testaamiseen pienemmillä token‑kustannuksilla.
  • Generoi testidataa API‑kehitykseen, jota LLM:t kuluttavat.
  • Luo realistista demo‑dataa esityksiin tai dokumentaatioon AI‑ystävällisissä formaateissa.
  • Rakenna mock‑tietokantoja LLM‑pohjaisten sovellusten prototypointiin.

Tuetut Faker.js‑paikkamerkit

Yleisiä paikkamerkkejä, joita voit käyttää malleissa:

  • Henkilö: {{person.firstName}}, {{person.lastName}}, {{person.fullName}}, {{person.jobTitle}}
  • Internet: {{internet.email}}, {{internet.url}}, {{internet.userName}}, {{internet.ip}}
  • Sijainti: {{location.city}}, {{location.country}}, {{location.zipCode}}, {{location.streetAddress}}
  • Yritys: {{company.name}}, {{company.catchPhrase}}, {{company.industry}}
  • Rahoitus: {{finance.amount}}, {{finance.accountNumber}}, {{finance.creditCardNumber}}
  • Päivämäärä: {{date.past}}, {{date.future}}, {{date.recent}}
  • Numerot: {{number.int(min,max)}}, {{number.float(min,max,precision)}}
  • Teksti: {{lorem.sentence}}, {{lorem.paragraph}}, {{lorem.words(count)}}
  • ID:t: {{string.uuid}}, {{string.alphanumeric(length)}}, {{string.numeric(length)}

Täydellinen luettelo saatavilla olevista Faker.js‑menetelmistä löytyy osoitteesta: https://fakerjs.dev/api/

Erotinvaihtoehdot

  • Pilkku (,): Vakioerotin, sopii useimpiin käyttötapauksiin.
  • Sarkain (\t): Usein token‑tehokkaampi, yksittäinen merkki, joka tokenisoituu hyvin.
  • Pystyviiva (|): Vaihtoehtoinen erotin, hyödyllinen kun data sisältää pilkkuja.