Mis on TOON (Token-Oriented Object Notation)?

TOON on kompaktne, inimloetav andmevorming, mis on spetsiaalselt loodud töötamiseks suurte keelemudelite (LLM‑de)ga. See vähendab tokenite kasutamist 30‑60 % võrreldes JSON‑iga, säilitades loetavuse ja struktuuri. TOON kasutab taandridade põhist vormindust, sarnast YAML‑ile, ning kõrvaldab üleliigse kirjavahemärgi, deklareerides väljade nimed üks kord tabelandmete jaoks, muutes selle ideaalseks struktureeritud andmete edastamiseks AI‑mudelitele, kus tokenikulud on olulised.

Tööriista kirjeldus

Random TOON Generator loob realistlikke testandmeid TOON‑vormingus, kasutades Faker.js teeki. Defineeri oma andmestruktuur JSON‑malliga, mis sisaldab Faker.js kohatäitjaid (näiteks {{person.firstName}} või {{number.int(1,100)}}), ning tööriist genereerib mitu testandmete rida tokenitõhusa TOON‑vorminguga. Ideaalne LLM‑rakenduste testimiseks, näidisandmekogude loomiseks või test‑API‑vastuste genereerimiseks vormingus, mis on nii AI‑sõbralik kui ka kuluefektiivne.

Näited

Input template:

[
  {
    "id": "{{string.uuid}}",
    "firstName": "{{person.firstName}}",
    "email": "{{internet.email}}",
    "age": "{{number.int(18,80)}}"
  }
]

Output (5 records with comma delimiter):

[5]{id,firstName,email,age}:
  a1b2c3d4-e5f6-7890-abcd-ef1234567890,Alice,alice.smith@example.com,45
  b2c3d4e5-f6a7-8901-bcde-fa2345678901,Bob,bob.jones@test.org,28
  c3d4e5f6-a7b8-9012-cdef-ab3456789012,Charlie,charlie.brown@demo.net,67
  d4e5f6a7-b8c9-0123-defa-bc4567890123,Diana,diana.wilson@sample.io,33
  e5f6a7b8-c9d0-1234-efab-cd5678901234,Eve,eve.davis@mock.com,52

Omadused

  • Faker.js integratsioon: Kasuta 100+ Faker.js meetodit realistlike testandmete loomiseks (nimed, e-posti aadressid, aadressid, kuupäevad, numbrid jne.)
  • Malli‑põhine genereerimine: Defineeri oma andmestruktuur üks kord, kasutades JSON‑i koos kohatäitjatega
  • Mitme eraldaja valikud: Vali komakoha (vaikimisi), tabulaatori (\t) või toru (|) eraldaja optimaalse tokenitõhususe saavutamiseks

Toetatud Faker.js kohatäitjad

Üldised kohatäitjad, mida saad mallides kasutada:

  • Isik: {{person.firstName}}, {{person.lastName}}, {{person.fullName}}, {{person.jobTitle}}
  • Internet: {{internet.email}}, {{internet.url}}, {{internet.userName}}, {{internet.ip}}
  • Asukoht: {{location.city}}, {{location.country}}, {{location.zipCode}}, {{location.streetAddress}}
  • Ettevõte: {{company.name}}, {{company.catchPhrase}}, {{company.industry}}
  • Finants: {{finance.amount}}, {{finance.accountNumber}}, {{finance.creditCardNumber}}
  • Kuupäev: {{date.past}}, {{date.future}}, {{date.recent}}
  • Numbrid: {{number.int(min,max)}}, {{number.float(min,max,precision)}}
  • Tekst: {{lorem.sentence}}, {{lorem.paragraph}}, {{lorem.words(count)}}
  • ID-d: {{string.uuid}}, {{string.alphanumeric(length)}}, {{string.numeric(length)}

Täieliku nimekirja saadaolevatest Faker.js meetoditest leiad aadressilt: https://fakerjs.dev/api/

Eraldaja valikud

  • Komakoht (,): Standardne eraldaja, sobib enamiku kasutusjuhtude jaoks
  • Tabulaator (\t): Sageli tokenitõhusam, üksik märk, mis tokeniseerub hästi
  • Toru (|): Alternatiivne eraldaja, kasulik, kui andmed sisaldavad komasid