Какво е TOON формат?

TOON (Token-Oriented Object Notation) е компактен, четим за хората формат за сериализация на данни, разработен специално за големи езикови модели (LLMs). За разлика от JSON, който повтаря имена на полета за всеки обект в масив, TOON декларира имена на полета веднъж и след това потоци данни в редове—подобно на CSV, но с явна структура. Този дизайн обикновено намалява използването на токени с 30-60% в сравнение с форматиран JSON, особено за еднородни масиви от обекти. TOON комбинира структурата на базата на отстъпи на YAML за вложени обекти със табличната ефективност на CSV, оптимизирана за LLM контексти, където разходите на токени имат значение.

Описание на инструмента

Този конвертор трансформира данни между JSON и TOON формати двупосочно. Просто поставете вашите JSON данни, за да генерирате компактен TOON изход, или конвертирайте TOON обратно в стандартен JSON. Инструментът използва официалната библиотека @toon-format/toon, за да гарантира точна конверсия. TOON е особено ефективен за набори от данни с повтарящи се структури—като потребителски записи, логове на транзакции, API отговори или всякакви табулирани данни—където намаляването на броя на токените подобрява ефективността при работа с LLMs.

Примери

JSON вход:

{
  "users": [
    { "id": 1, "name": "Alice", "role": "admin" },
    { "id": 2, "name": "Bob", "role": "user" }
  ]
}

TOON изход:

users[2]{id,name,role}:
  1,Alice,admin
  2,Bob,user

Пример на вложена структура:

JSON с вложени обекти се преобразува в отстъпен TOON формат:

{
  "order": {
    "id": "ORD-456",
    "items": [
      { "sku": "A1", "qty": 2, "price": 19.99 },
      { "sku": "B2", "qty": 1, "price": 29.99 }
    ],
    "total": 69.97
  }
}

Става:

order:
  id: ORD-456
  items[2]{sku,qty,price}:
    A1,2,19.99
    B2,1,29.99
  total: 69.97

Функции

  • Двупосочна конверсия между JSON и TOON формати с пълна точност
  • Значително намаляване на токените (30-60% по-малко токени в сравнение с JSON за еднородни масиви)
  • Запазване на структурата на данните включително вложени обекти, масиви и примитивни стойности
  • Автоматично разпознаване на формат и оптимална стратегия на кодиране
  • Четим за хората изход с ясна табулирана структура за еднородни данни
  • Конверсия, безопасна за типове поддържаща числа, булеви стойности, null и низове правилно
  • Обработка на крайни случаи включително празни масиви, вложени структури и смесени типове
  • Конверсия в реално време с незабавни резултати докато пишете

Случаи на употреба

  1. Оптимизация на LLM API - Намалете разходите на токени при изпращане на структурирани данни към GPT, Claude или други LLMs чрез конвертиране на JSON полезни товари в TOON формат преди API повиквания
  2. Подсказки за анализ на данни - Подгответе набори от данни за LLM анализ с по-ефективно кодиране, позволяващо по-големи набори от данни в рамките на ограниченията на контекста
  3. Генериране на структурирани данни - Използвайте TOON в подсказки, за да поискате от LLMs да генерират табулирани данни по-ефективно от JSON
  4. Обработка на логове - Конвертирайте логове на приложения или аналитични данни в компактен формат за LLM-базиран анализ и обобщение
  5. Управление на конфигурация - Трансформирайте конфигурационни файлове в формат, ефективен за токени, при използване на LLMs за управление на инфраструктура или DevOps задачи

Детайли за ефективност на токените

TOON постига значителни спестявания на токени чрез няколко оптимизации:

  • Без повтарящи се имена на полета - Декларира полета веднъж в заглавието вместо да повтаря за всеки обект
  • Минимална пунктуация - Премахва излишни скоби, фигурни скоби и кавички, където е безопасно
  • Табулиран формат - Използва CSV-подобни редове за еднородни масиви от обекти
  • Гъвкавост на разделителя - Поддържа запетая (по подразбиране), табулация или тръбен разделител за оптимално токенизиране

Пример за сравнение на токени (използвайки GPT-5 токенизатор):

  • JSON (форматиран): 100 записа на служители ≈ 49,776 токена
  • TOON: Същите данни ≈ 17,635 токена (64,6% намаление)
  • CSV: ≈ 15,583 токена (най-компактен, но липсва структура)

TOON осигурява най-добрия баланс между компактност и структурна интегритета за LLM приложения.

Преглед на формата

Обекти: Прости двойки ключ-стойност с отстъпи за вложване

id: 123
name: Ada
active: true

Масиви: Дължина декларирана в скоби, примитивни масиви в редица

tags[3]: reading,gaming,coding

Табулирани масиви: Еднородни обекти форматирани като таблици с заглавия на полета

items[2]{sku,qty,price}:
  A1,2,9.99
  B2,1,14.5

Правила за кавички: Низовете се цитират само когато е необходимо (съдържащи разделители, двоеточия или изглеждащи като други типове)

Бележки за конверсия

При конвертиране на JSON в TOON:

  • Еднородни масиви от обекти автоматично използват табулиран формат
  • Вложените структури поддържат правилна отстъпка
  • Не-JSON типове (undefined, функции) се преобразуват в null
  • Датите се преобразуват в ISO низове
  • Числата избягват научна нотация

При конвертиране на TOON в JSON:

  • Поддържа стандартно JSON форматиране с 2-пространство отстъпка
  • Валидира дължини на масиви и последователност на полета
  • Правилно екранира специални знаци
  • Запазва информация за типа (числа, булеви стойности, null)