Mis on TOON (Token-Oriented Object Notation)?

TOON on kompaktne, inimloetav andmevorming, mis on spetsiaalselt loodud töötamiseks suurte keelemudelite (LLM‑de)ga. See vähendab tokenite kasutamist 30‑60 % võrreldes JSON‑iga, säilitades loetavuse ja struktuuri. TOON kasutab taandridade põhist vormindust, sarnast YAML‑ile, ning kõrvaldab üleliigse kirjavahemärgi, deklareerides väljade nimed üks kord tabelandmete jaoks, muutes selle ideaalseks struktureeritud andmete edastamiseks AI‑mudelitele, kus tokenikulud on olulised.

Tööriista kirjeldus

Random TOON Generator loob realistlikke testandmeid TOON‑vormingus, kasutades Faker.js teeki. Defineeri oma andmestruktuur JSON‑malliga, mis sisaldab Faker.js kohatäitjaid (näiteks {{person.firstName}} või {{number.int(1,100)}}), ning tööriist genereerib mitu testandmete rida tokenitõhusa TOON‑vorminguga. Ideaalne LLM‑rakenduste testimiseks, näidisandmekogude loomiseks või test‑API‑vastuste genereerimiseks vormingus, mis on nii AI‑sõbralik kui ka kuluefektiivne.

Näited

Input template:

[
  {
    "id": "{{string.uuid}}",
    "firstName": "{{person.firstName}}",
    "email": "{{internet.email}}",
    "age": "{{number.int(18,80)}}"
  }
]

Output (5 records with comma delimiter):

[5]{id,firstName,email,age}:
  a1b2c3d4-e5f6-7890-abcd-ef1234567890,Alice,alice.smith@example.com,45
  b2c3d4e5-f6a7-8901-bcde-fa2345678901,Bob,bob.jones@test.org,28
  c3d4e5f6-a7b8-9012-cdef-ab3456789012,Charlie,charlie.brown@demo.net,67
  d4e5f6a7-b8c9-0123-defa-bc4567890123,Diana,diana.wilson@sample.io,33
  e5f6a7b8-c9d0-1234-efab-cd5678901234,Eve,eve.davis@mock.com,52

Omadused

  • Faker.js integratsioon: Kasuta 100+ Faker.js meetodit realistlike testandmete loomiseks (nimed, e-posti aadressid, aadressid, kuupäevad, numbrid jne.)
  • Malli‑põhine genereerimine: Defineeri oma andmestruktuur üks kord, kasutades JSON‑i koos kohatäitjatega
  • Mitme eraldaja valikud: Vali komakoha (vaikimisi), tabulaatori (\t) või toru (|) eraldaja optimaalse tokenitõhususe saavutamiseks
  • Partiivi genereerimine: Loo mitu kirjet korraga automaatse massi ühendamisega
  • Tokenitõhus väljund: Vähenda LLM‑i tokenikulud 30‑60 % võrreldes ekvivalentse JSON‑andmetega
  • Tabelvorming: Kasutab automaatselt TOON‑i tõhusat tabelvormingut ühtsete andmestruktuuride jaoks
  • Reaalajas eelvaade: Vaata oma TOON‑väljundit uuenevat, kui muudad malli

Kasutusjuhtumid

  • Loo testkasutajate andmeid AI‑vestlusroboti või LLM‑rakenduste testimiseks
  • Loo näidisandmekogusid koolitamiseks või andmevoogude testimiseks, vähendades tokenikulusid
  • Loo testandmeid API‑arenduseks, mida LLM‑id tarbivad
  • Loo realistlikke demoandmeid esitluste või dokumentatsiooni jaoks, kasutades AI‑sõbralikke vorminguid
  • Ehita testandmebaase LLM‑põhiste rakenduste prototüüpimiseks

Toetatud Faker.js kohatäitjad

Üldised kohatäitjad, mida saad mallides kasutada:

  • Isik: {{person.firstName}}, {{person.lastName}}, {{person.fullName}}, {{person.jobTitle}}
  • Internet: {{internet.email}}, {{internet.url}}, {{internet.userName}}, {{internet.ip}}
  • Asukoht: {{location.city}}, {{location.country}}, {{location.zipCode}}, {{location.streetAddress}}
  • Ettevõte: {{company.name}}, {{company.catchPhrase}}, {{company.industry}}
  • Finants: {{finance.amount}}, {{finance.accountNumber}}, {{finance.creditCardNumber}}
  • Kuupäev: {{date.past}}, {{date.future}}, {{date.recent}}
  • Numbrid: {{number.int(min,max)}}, {{number.float(min,max,precision)}}
  • Tekst: {{lorem.sentence}}, {{lorem.paragraph}}, {{lorem.words(count)}}
  • ID-d: {{string.uuid}}, {{string.alphanumeric(length)}}, {{string.numeric(length)}

Täieliku nimekirja saadaolevatest Faker.js meetoditest leiad aadressilt: https://fakerjs.dev/api/

Eraldaja valikud

  • Komakoht (,): Standardne eraldaja, sobib enamiku kasutusjuhtude jaoks
  • Tabulaator (\t): Sageli tokenitõhusam, üksik märk, mis tokeniseerub hästi
  • Toru (|): Alternatiivne eraldaja, kasulik, kui andmed sisaldavad komasid