Что такое TOON (Token-Oriented Object Notation)?

TOON — это компактный, человекочитаемый формат данных, специально разработанный для работы с большими языковыми моделями (LLM). Он снижает использование токенов на 30-60% по сравнению с JSON, сохраняя при этом читаемость и структуру. TOON использует форматирование на основе отступов, подобное YAML, и устраняет избыточную пунктуацию, объявляя имена полей один раз для табличных данных, что делает его идеальным для передачи структурированных данных в AI-модели, где важна стоимость токенов.

Описание инструмента

Генератор случайных данных TOON создает реалистичные тестовые данные в формате TOON с использованием библиотеки Faker.js. Определите структуру данных, используя шаблон JSON с заполнителями Faker.js (например, {{person.firstName}} или {{number.int(1,100)}}), и инструмент сгенерирует несколько записей фиктивных данных в токен-эффективном формате TOON. Идеально подходит для тестирования LLM-приложений, создания образцов наборов данных или генерации тестовых ответов API в формате, дружественном к AI и экономически эффективном.

Примеры

Входной шаблон:

[
  {
    "id": "{{string.uuid}}",
    "firstName": "{{person.firstName}}",
    "email": "{{internet.email}}",
    "age": "{{number.int(18,80)}}"
  }
]

Вывод (5 записей с разделителем-запятой):

[5]{id,firstName,email,age}:
  a1b2c3d4-e5f6-7890-abcd-ef1234567890,Алиса,alisa.smith@example.com,45
  b2c3d4e5-f6a7-8901-bcde-fa2345678901,Борис,boris.jones@test.org,28
  c3d4e5f6-a7b8-9012-cdef-ab3456789012,Виктор,viktor.brown@demo.net,67
  d4e5f6a7-b8c9-0123-defa-bc4567890123,Диана,diana.wilson@sample.io,33
  e5f6a7b8-c9d0-1234-efab-cd5678901234,Елена,elena.davis@mock.com,52

Возможности

  • Интеграция с Faker.js: Используйте более 100 методов Faker.js для реалистичных данных (имена, email, адреса, даты, числа и т.д.)
  • Генерация на основе шаблонов: Определите структуру данных один раз, используя JSON с заполнителями
  • Множество вариантов разделителей: Выбирайте между запятой (по умолчанию), табуляцией или вертикальной чертой для оптимальной эффективности токенов
  • Пакетная генерация: Создавайте несколько записей одновременно с автоматическим слиянием массивов
  • Токен-эффективный вывод: Снижайте затраты на токены LLM на 30-60% по сравнению с эквивалентными данными JSON
  • Табличный формат: Автоматически использует эффективный табличный формат TOON для однородных структур данных
  • Предварительный просмотр в реальном времени: Наблюдайте обновление вывода TOON при изменении шаблона

Варианты использования

  • Генерация тестовых данных пользователей для тестирования AI-чатботов или LLM-приложений
  • Создание образцов наборов данных для обучения или тестирования конвейеров данных с пониженными затратами на токены
  • Генерация тестовых данных для разработки API, которые будут использоваться LLM
  • Создание реалистичных демонстрационных данных для презентаций или документации в AI-дружественных форматах

Поддерживаемые заполнители Faker.js

Общие заполнители, которые можно использовать в шаблонах:

  • Персона: {{person.firstName}}, {{person.lastName}}, {{person.fullName}}, {{person.jobTitle}}
  • Интернет: {{internet.email}}, {{internet.url}}, {{internet.userName}}, {{internet.ip}}
  • Местоположение: {{location.city}}, {{location.country}}, {{location.zipCode}}, {{location.streetAddress}}
  • Компания: {{company.name}}, {{company.catchPhrase}}, {{company.industry}}
  • Финансы: {{finance.amount}}, {{finance.accountNumber}}, {{finance.creditCardNumber}}
  • Дата: {{date.past}}, {{date.future}}, {{date.recent}}
  • Числа: {{number.int(min,max)}}, {{number.float(min,max,precision)}}
  • Текст: {{lorem.sentence}}, {{lorem.paragraph}}, {{lorem.words(count)}}
  • Идентификаторы: {{string.uuid}}, {{string.alphanumeric(length)}}, {{string.numeric(length)}

Полный список доступных методов Faker.js: https://fakerjs.dev/api/

Варианты разделителей

  • Запятая (,): Стандартный разделитель, подходит для большинства случаев
  • Табуляция (\t): Часто более токен-эффективна, единичный символ с хорошей токенизацией
  • Вертикальная черта (|): Альтернативный разделитель, полезен когда данные содержат запятые