Co to jest TOON (Token-Oriented Object Notation)?

TOON to kompaktowy, czytelny dla człowieka format danych zaprojektowany specjalnie do pracy z dużymi modelami językowymi (LLM). Redukuje zużycie tokenów o 30‑60 % w porównaniu do JSON, zachowując czytelność i strukturę. TOON używa formatowania opartego na wcięciach podobnego do YAML i eliminuje zbędną interpunkcję, deklarując nazwy pól raz dla danych tabelarycznych, co czyni go idealnym do przekazywania strukturalnych danych do modeli AI, gdzie koszty tokenów mają znaczenie.

Opis narzędzia

Random TOON Generator tworzy realistyczne dane testowe w formacie TOON przy użyciu biblioteki Faker.js. Zdefiniuj strukturę danych za pomocą szablonu JSON z placeholderami Faker.js (np. {{person.firstName}} lub {{number.int(1,100)}}), a narzędzie wygeneruje wiele rekordów danych dummy sformatowanych jako tokenowo‑efektywny TOON. Idealne do testowania aplikacji LLM, tworzenia przykładowych zestawów danych lub generowania fikcyjnych odpowiedzi API w formacie przyjaznym AI i oszczędnym pod względem kosztów.

Przykłady

Szablon wejściowy:

[
  {
    "id": "{{string.uuid}}",
    "firstName": "{{person.firstName}}",
    "email": "{{internet.email}}",
    "age": "{{number.int(18,80)}}"
  }
]

Wyjście (5 rekordów z separatorem przecinka):

[5]{id,firstName,email,age}:
  a1b2c3d4-e5f6-7890-abcd-ef1234567890,Alice,alice.smith@example.com,45
  b2c3d4e5-f6a7-8901-bcde-fa2345678901,Bob,bob.jones@test.org,28
  c3d4e5f6-a7b8-9012-cdef-ab3456789012,Charlie,charlie.brown@demo.net,67
  d4e5f6a7-b8c9-0123-defa-bc4567890123,Diana,diana.wilson@sample.io,33
  e5f6a7b8-c9d0-1234-efab-cd5678901234,Eve,eve.davis@mock.com,52

Funkcje

  • Integracja z Faker.js: Użyj ponad 100 metod Faker.js do generowania realistycznych danych testowych (imiona, e‑maile, adresy, daty, liczby itp.)
  • Generowanie oparte na szablonie: Zdefiniuj strukturę danych raz, używając JSON z placeholderami
  • Wiele opcji separatora: Wybierz separator przecinka (domyślny), tabulacji lub pionowej kreski (pipe) dla optymalnej efektywności tokenów
  • Generowanie wsadowe: Twórz wiele rekordów jednocześnie z automatycznym łączeniem tablic
  • Wyjście efektywne pod względem tokenów: Obniż koszty tokenów LLM o 30‑60 % w porównaniu do równoważnych danych JSON
  • Format tabelaryczny: Automatycznie używa efektywnego formatu tabelarycznego TOON dla jednolitych struktur danych
  • Podgląd na żywo: Obserwuj aktualizację wyjścia TOON w miarę modyfikacji szablonu

Przypadki użycia

  • Generuj fikcyjne dane użytkowników do testowania chatbotów AI lub aplikacji LLM
  • Twórz przykładowe zestawy danych do treningu lub testowania potoków danych przy zmniejszonych kosztach tokenów
  • Generuj dane testowe dla rozwoju API, które będą konsumowane przez LLM
  • Twórz realistyczne dane demonstracyjne do prezentacji lub dokumentacji, używając formatów przyjaznych AI
  • Buduj fikcyjne bazy danych do prototypowania aplikacji napędzanych LLM

Obsługiwane placeholdery Faker.js

Typowe placeholdery, które możesz używać w szablonach:

  • Osoba: {{person.firstName}}, {{person.lastName}}, {{person.fullName}}, {{person.jobTitle}}
  • Internet: {{internet.email}}, {{internet.url}}, {{internet.userName}}, {{internet.ip}}
  • Lokalizacja: {{location.city}}, {{location.country}}, {{location.zipCode}}, {{location.streetAddress}}
  • Firma: {{company.name}}, {{company.catchPhrase}}, {{company.industry}}
  • Finanse: {{finance.amount}}, {{finance.accountNumber}}, {{finance.creditCardNumber}}
  • Data: {{date.past}}, {{date.future}}, {{date.recent}}
  • Liczby: {{number.int(min,max)}}, {{number.float(min,max,precision)}}
  • Tekst: {{lorem.sentence}}, {{lorem.paragraph}}, {{lorem.words(count)}}
  • Identyfikatory: {{string.uuid}}, {{string.alphanumeric(length)}}, {{string.numeric(length)}

Pełną listę dostępnych metod Faker.js znajdziesz pod adresem: https://fakerjs.dev/api/

Opcje separatora

  • Przecinek (,): Standardowy separator, dobry dla większości zastosowań
  • Tabulacja (\t): Często bardziej efektywna pod względem tokenów, pojedynczy znak, który dobrze się tokenizuje
  • Pionowa kreska (|): Alternatywny separator, przydatny, gdy dane zawierają przecinki