Какво е TOON формат?

TOON (Token-Oriented Object Notation) е компактен, четим за хората формат за сериализация на данни, разработен специално за големи езикови модели (LLMs). За разлика от JSON, който повтаря имена на полета за всеки обект в масив, TOON декларира имена на полета веднъж и след това потоци данни в редове—подобно на CSV, но с явна структура. Този дизайн обикновено намалява използването на токени с 30-60% в сравнение с форматиран JSON, особено за еднородни масиви от обекти. TOON комбинира структурата на базата на отстъпи на YAML за вложени обекти със табличната ефективност на CSV, оптимизирана за LLM контексти, където разходите на токени имат значение.

Описание на инструмента

Този конвертор трансформира данни между JSON и TOON формати двупосочно. Просто поставете вашите JSON данни, за да генерирате компактен TOON изход, или конвертирайте TOON обратно в стандартен JSON. Инструментът използва официалната библиотека @toon-format/toon, за да гарантира точна конверсия. TOON е особено ефективен за набори от данни с повтарящи се структури—като потребителски записи, логове на транзакции, API отговори или всякакви табулирани данни—където намаляването на броя на токените подобрява ефективността при работа с LLMs.

Примери

JSON вход:

{
  "users": [
    { "id": 1, "name": "Alice", "role": "admin" },
    { "id": 2, "name": "Bob", "role": "user" }
  ]
}

TOON изход:

users[2]{id,name,role}:
  1,Alice,admin
  2,Bob,user

Пример на вложена структура:

JSON с вложени обекти се преобразува в отстъпен TOON формат:

{
  "order": {
    "id": "ORD-456",
    "items": [
      { "sku": "A1", "qty": 2, "price": 19.99 },
      { "sku": "B2", "qty": 1, "price": 29.99 }
    ],
    "total": 69.97
  }
}

Става:

order:
  id: ORD-456
  items[2]{sku,qty,price}:
    A1,2,19.99
    B2,1,29.99
  total: 69.97

Функции

  • Двупосочна конверсия между JSON и TOON формати с пълна точност
  • Значително намаляване на токените (30-60% по-малко токени в сравнение с JSON за еднородни масиви)
  • Запазване на структурата на данните включително вложени обекти, масиви и примитивни стойности

Детайли за ефективност на токените

TOON постига значителни спестявания на токени чрез няколко оптимизации:

  • Без повтарящи се имена на полета - Декларира полета веднъж в заглавието вместо да повтаря за всеки обект
  • Минимална пунктуация - Премахва излишни скоби, фигурни скоби и кавички, където е безопасно
  • Табулиран формат - Използва CSV-подобни редове за еднородни масиви от обекти
  • Гъвкавост на разделителя - Поддържа запетая (по подразбиране), табулация или тръбен разделител за оптимално токенизиране

Пример за сравнение на токени (използвайки GPT-5 токенизатор):

  • JSON (форматиран): 100 записа на служители ≈ 49,776 токена
  • TOON: Същите данни ≈ 17,635 токена (64,6% намаление)
  • CSV: ≈ 15,583 токена (най-компактен, но липсва структура)

TOON осигурява най-добрия баланс между компактност и структурна интегритета за LLM приложения.

Преглед на формата

Обекти: Прости двойки ключ-стойност с отстъпи за вложване

id: 123
name: Ada
active: true

Масиви: Дължина декларирана в скоби, примитивни масиви в редица

tags[3]: reading,gaming,coding

Табулирани масиви: Еднородни обекти форматирани като таблици с заглавия на полета

items[2]{sku,qty,price}:
  A1,2,9.99
  B2,1,14.5

Правила за кавички: Низовете се цитират само когато е необходимо (съдържащи разделители, двоеточия или изглеждащи като други типове)

Бележки за конверсия

При конвертиране на JSON в TOON:

  • Еднородни масиви от обекти автоматично използват табулиран формат
  • Вложените структури поддържат правилна отстъпка
  • Не-JSON типове (undefined, функции) се преобразуват в null
  • Датите се преобразуват в ISO низове
  • Числата избягват научна нотация

При конвертиране на TOON в JSON:

  • Поддържа стандартно JSON форматиране с 2-пространство отстъпка
  • Валидира дължини на масиви и последователност на полета
  • Правилно екранира специални знаци
  • Запазва информация за типа (числа, булеви стойности, null)