Co to jest TOON (Token-Oriented Object Notation)?

TOON to kompaktowy, czytelny dla człowieka format danych zaprojektowany specjalnie do pracy z dużymi modelami językowymi (LLM). Redukuje zużycie tokenów o 30‑60 % w porównaniu do JSON, zachowując czytelność i strukturę. TOON używa formatowania opartego na wcięciach podobnego do YAML i eliminuje zbędną interpunkcję, deklarując nazwy pól raz dla danych tabelarycznych, co czyni go idealnym do przekazywania strukturalnych danych do modeli AI, gdzie koszty tokenów mają znaczenie.

Opis narzędzia

Random TOON Generator tworzy realistyczne dane testowe w formacie TOON przy użyciu biblioteki Faker.js. Zdefiniuj strukturę danych za pomocą szablonu JSON z placeholderami Faker.js (np. {{person.firstName}} lub {{number.int(1,100)}}), a narzędzie wygeneruje wiele rekordów danych dummy sformatowanych jako tokenowo‑efektywny TOON. Idealne do testowania aplikacji LLM, tworzenia przykładowych zestawów danych lub generowania fikcyjnych odpowiedzi API w formacie przyjaznym AI i oszczędnym pod względem kosztów.

Przykłady

Szablon wejściowy:

[
  {
    "id": "{{string.uuid}}",
    "firstName": "{{person.firstName}}",
    "email": "{{internet.email}}",
    "age": "{{number.int(18,80)}}"
  }
]

Wyjście (5 rekordów z separatorem przecinka):

[5]{id,firstName,email,age}:
  a1b2c3d4-e5f6-7890-abcd-ef1234567890,Alice,alice.smith@example.com,45
  b2c3d4e5-f6a7-8901-bcde-fa2345678901,Bob,bob.jones@test.org,28
  c3d4e5f6-a7b8-9012-cdef-ab3456789012,Charlie,charlie.brown@demo.net,67
  d4e5f6a7-b8c9-0123-defa-bc4567890123,Diana,diana.wilson@sample.io,33
  e5f6a7b8-c9d0-1234-efab-cd5678901234,Eve,eve.davis@mock.com,52

Funkcje

  • Integracja z Faker.js: Użyj ponad 100 metod Faker.js do generowania realistycznych danych testowych (imiona, e‑maile, adresy, daty, liczby itp.)
  • Generowanie oparte na szablonie: Zdefiniuj strukturę danych raz, używając JSON z placeholderami
  • Wiele opcji separatora: Wybierz separator przecinka (domyślny), tabulacji lub pionowej kreski (pipe) dla optymalnej efektywności tokenów

Obsługiwane placeholdery Faker.js

Typowe placeholdery, które możesz używać w szablonach:

  • Osoba: {{person.firstName}}, {{person.lastName}}, {{person.fullName}}, {{person.jobTitle}}
  • Internet: {{internet.email}}, {{internet.url}}, {{internet.userName}}, {{internet.ip}}
  • Lokalizacja: {{location.city}}, {{location.country}}, {{location.zipCode}}, {{location.streetAddress}}
  • Firma: {{company.name}}, {{company.catchPhrase}}, {{company.industry}}
  • Finanse: {{finance.amount}}, {{finance.accountNumber}}, {{finance.creditCardNumber}}
  • Data: {{date.past}}, {{date.future}}, {{date.recent}}
  • Liczby: {{number.int(min,max)}}, {{number.float(min,max,precision)}}
  • Tekst: {{lorem.sentence}}, {{lorem.paragraph}}, {{lorem.words(count)}}
  • Identyfikatory: {{string.uuid}}, {{string.alphanumeric(length)}}, {{string.numeric(length)}

Pełną listę dostępnych metod Faker.js znajdziesz pod adresem: https://fakerjs.dev/api/

Opcje separatora

  • Przecinek (,): Standardowy separator, dobry dla większości zastosowań
  • Tabulacja (\t): Często bardziej efektywna pod względem tokenów, pojedynczy znak, który dobrze się tokenizuje
  • Pionowa kreska (|): Alternatywny separator, przydatny, gdy dane zawierają przecinki