Какво е TOON (Token-Oriented Object Notation)?

TOON е компактен, четлив от хора формат на данни, разработен специално за работа с големи езикови модели (LLMs). Намалява използването на токени с 30-60% в сравнение с JSON, като запазва четливост и структура. TOON използва форматиране на базата на отстъпи, подобно на YAML, и елиминира излишната пунктуация чрез деклариране на имена на полета един път за табулирани данни, което го прави идеален за предаване на структурирани данни на AI модели, където разходите за токени имат значение.

Описание на инструмента

Random TOON Generator създава реалистични фиктивни данни в TOON формат, използвайки библиотеката Faker.js. Дефинирайте вашата структура на данни, използвайки JSON шаблон със заместители на Faker.js (като {{person.firstName}} или {{number.int(1,100)}}), и инструментът генерира множество записи с фиктивни данни, форматирани като токен-ефективен TOON. Перфектен за тестване на LLM приложения, създаване на примерни набори от данни или генериране на фиктивни API отговори в формат, който е както AI-приятелски, така и рентабилен.

Примери

Входен шаблон:

[
  {
    "id": "{{string.uuid}}",
    "firstName": "{{person.firstName}}",
    "email": "{{internet.email}}",
    "age": "{{number.int(18,80)}}"
  }
]

Изход (5 записа с разделител запетая):

[5]{id,firstName,email,age}:
  a1b2c3d4-e5f6-7890-abcd-ef1234567890,Alice,alice.smith@example.com,45
  b2c3d4e5-f6a7-8901-bcde-fa2345678901,Bob,bob.jones@test.org,28
  c3d4e5f6-a7b8-9012-cdef-ab3456789012,Charlie,charlie.brown@demo.net,67
  d4e5f6a7-b8c9-0123-defa-bc4567890123,Diana,diana.wilson@sample.io,33
  e5f6a7b8-c9d0-1234-efab-cd5678901234,Eve,eve.davis@mock.com,52

Функции

  • Интеграция с Faker.js: Използвайте над 100 методи на Faker.js за реалистични фиктивни данни (имена, имейли, адреси, дати, числа и т.н.)
  • Генериране на базата на шаблон: Дефинирайте вашата структура на данни един път, използвайки JSON със заместители
  • Множество опции за разделители: Изберете между запетая (по подразбиране), табулатор или разделител с тръба за оптимална ефективност на токени
  • Групово генериране: Създавайте множество записи наведнъж с автоматично сливане на масиви
  • Токен-ефективен изход: Намалете разходите за LLM токени с 30-60% в сравнение с еквивалентни JSON данни
  • Табулиран формат: Автоматично използва ефективния табулиран формат на TOON за еднородни структури на данни
  • Преглед в реално време: Вижте вашия TOON изход да се актуализира, докато модифицирате шаблона

Случаи на употреба

  • Генериране на фиктивни потребителски данни за тестване на AI чатботи или LLM приложения
  • Създаване на примерни набори от данни за обучение или тестване на тръбопроводи за данни с намалени разходи за токени
  • Генериране на тестови данни за разработка на API, които ще бъдат консумирани от LLMs
  • Създаване на реалистични демо данни за презентации или документация, използвайки AI-приятелски формати
  • Изграждане на фиктивни бази данни за прототипиране на LLM-захранени приложения

Поддържани заместители на Faker.js

Често използвани заместители, които можете да използвате в шаблони:

  • Person: {{person.firstName}}, {{person.lastName}}, {{person.fullName}}, {{person.jobTitle}}
  • Internet: {{internet.email}}, {{internet.url}}, {{internet.userName}}, {{internet.ip}}
  • Location: {{location.city}}, {{location.country}}, {{location.zipCode}}, {{location.streetAddress}}
  • Company: {{company.name}}, {{company.catchPhrase}}, {{company.industry}}
  • Finance: {{finance.amount}}, {{finance.accountNumber}}, {{finance.creditCardNumber}}
  • Date: {{date.past}}, {{date.future}}, {{date.recent}}
  • Numbers: {{number.int(min,max)}}, {{number.float(min,max,precision)}}
  • Text: {{lorem.sentence}}, {{lorem.paragraph}}, {{lorem.words(count)}}
  • IDs: {{string.uuid}}, {{string.alphanumeric(length)}}, {{string.numeric(length)}

За пълен списък на наличните методи на Faker.js, посетете: https://fakerjs.dev/api/

Опции за разделители

  • Запетая (,): Стандартен разделител, добър за повечето случаи на употреба
  • Табулатор (\t): Често по-ефективен за токени, един символ, който се токенизира добре
  • Тръба (|): Алтернативен разделител, полезен, когато данните съдържат запетаи