Какво е TOON (Token-Oriented Object Notation)?

TOON е компактен, четлив от хора формат на данни, разработен специално за работа с големи езикови модели (LLMs). Намалява използването на токени с 30-60% в сравнение с JSON, като запазва четливост и структура. TOON използва форматиране на базата на отстъпи, подобно на YAML, и елиминира излишната пунктуация чрез деклариране на имена на полета един път за табулирани данни, което го прави идеален за предаване на структурирани данни на AI модели, където разходите за токени имат значение.

Описание на инструмента

Random TOON Generator създава реалистични фиктивни данни в TOON формат, използвайки библиотеката Faker.js. Дефинирайте вашата структура на данни, използвайки JSON шаблон със заместители на Faker.js (като {{person.firstName}} или {{number.int(1,100)}}), и инструментът генерира множество записи с фиктивни данни, форматирани като токен-ефективен TOON. Перфектен за тестване на LLM приложения, създаване на примерни набори от данни или генериране на фиктивни API отговори в формат, който е както AI-приятелски, така и рентабилен.

Примери

Входен шаблон:

[
  {
    "id": "{{string.uuid}}",
    "firstName": "{{person.firstName}}",
    "email": "{{internet.email}}",
    "age": "{{number.int(18,80)}}"
  }
]

Изход (5 записа с разделител запетая):

[5]{id,firstName,email,age}:
  a1b2c3d4-e5f6-7890-abcd-ef1234567890,Alice,alice.smith@example.com,45
  b2c3d4e5-f6a7-8901-bcde-fa2345678901,Bob,bob.jones@test.org,28
  c3d4e5f6-a7b8-9012-cdef-ab3456789012,Charlie,charlie.brown@demo.net,67
  d4e5f6a7-b8c9-0123-defa-bc4567890123,Diana,diana.wilson@sample.io,33
  e5f6a7b8-c9d0-1234-efab-cd5678901234,Eve,eve.davis@mock.com,52

Функции

  • Интеграция с Faker.js: Използвайте над 100 методи на Faker.js за реалистични фиктивни данни (имена, имейли, адреси, дати, числа и т.н.)
  • Генериране на базата на шаблон: Дефинирайте вашата структура на данни един път, използвайки JSON със заместители
  • Множество опции за разделители: Изберете между запетая (по подразбиране), табулатор или разделител с тръба за оптимална ефективност на токени

Поддържани заместители на Faker.js

Често използвани заместители, които можете да използвате в шаблони:

  • Person: {{person.firstName}}, {{person.lastName}}, {{person.fullName}}, {{person.jobTitle}}
  • Internet: {{internet.email}}, {{internet.url}}, {{internet.userName}}, {{internet.ip}}
  • Location: {{location.city}}, {{location.country}}, {{location.zipCode}}, {{location.streetAddress}}
  • Company: {{company.name}}, {{company.catchPhrase}}, {{company.industry}}
  • Finance: {{finance.amount}}, {{finance.accountNumber}}, {{finance.creditCardNumber}}
  • Date: {{date.past}}, {{date.future}}, {{date.recent}}
  • Numbers: {{number.int(min,max)}}, {{number.float(min,max,precision)}}
  • Text: {{lorem.sentence}}, {{lorem.paragraph}}, {{lorem.words(count)}}
  • IDs: {{string.uuid}}, {{string.alphanumeric(length)}}, {{string.numeric(length)}

За пълен списък на наличните методи на Faker.js, посетете: https://fakerjs.dev/api/

Опции за разделители

  • Запетая (,): Стандартен разделител, добър за повечето случаи на употреба
  • Табулатор (\t): Често по-ефективен за токени, един символ, който се токенизира добре
  • Тръба (|): Алтернативен разделител, полезен, когато данните съдържат запетаи