Qu'est-ce que le format TOON ?

TOON (Token-Oriented Object Notation) est un format de sérialisation de données compact et lisible, conçu spécifiquement pour les grands modèles de langage (LLM). Contrairement au JSON, qui répète les noms de champs pour chaque objet dans un tableau, TOON déclare les noms de champs une fois puis transmet les données en lignes—similaire au CSV mais avec une structure explicite. Cette conception réduit généralement l'utilisation de tokens de 30 à 60% par rapport au JSON formaté, en particulier pour les tableaux uniformes d'objets. TOON combine la structure basée sur l'indentation de YAML pour les objets imbriqués avec l'efficacité tabulaire du CSV, optimisée pour les contextes LLM où les coûts de tokens importent.

Description de l'outil

Ce convertisseur transforme les données entre les formats JSON et TOON de manière bidirectionnelle. Collez simplement vos données JSON pour générer une sortie TOON compacte, ou reconvertissez TOON en JSON standard. L'outil utilise la bibliothèque officielle @toon-format/toon pour garantir une conversion précise. TOON est particulièrement efficace pour les ensembles de données avec des structures répétées—tels que les enregistrements d'utilisateurs, les journaux de transactions, les réponses API ou toutes données tabulaires—où la réduction du nombre de tokens améliore l'efficacité lors du travail avec les LLM.

Exemples

Entrée JSON :

{
  "users": [
    { "id": 1, "name": "Alice", "role": "admin" },
    { "id": 2, "name": "Bob", "role": "user" }
  ]
}

Sortie TOON :

users[2]{id,name,role}:
  1,Alice,admin
  2,Bob,user

Exemple de structure imbriquée :

JSON avec objets imbriqués se convertit au format TOON indenté :

{
  "order": {
    "id": "ORD-456",
    "items": [
      { "sku": "A1", "qty": 2, "price": 19.99 },
      { "sku": "B2", "qty": 1, "price": 29.99 }
    ],
    "total": 69.97
  }
}

Devient :

order:
  id: ORD-456
  items[2]{sku,qty,price}:
    A1,2,19.99
    B2,1,29.99
  total: 69.97

Fonctionnalités

  • Conversion bidirectionnelle entre les formats JSON et TOON avec fidélité complète
  • Réduction significative de tokens (30 à 60% de tokens en moins vs JSON pour les tableaux uniformes)
  • Préservation de la structure des données incluant les objets imbriqués, tableaux et valeurs primitives
  • Détection automatique du format et stratégie d'encodage optimale
  • Sortie lisible avec structure tabulaire claire pour les données uniformes
  • Conversion type-safe maintenant correctement les nombres, booléens, null et chaînes
  • Gestion des cas limites incluant les tableaux vides, structures imbriquées et types mixtes
  • Conversion en temps réel avec résultats instantanés pendant la saisie

Cas d'utilisation

  1. Optimisation API LLM - Réduire les coûts de tokens lors de l'envoi de données structurées à GPT, Claude ou d'autres LLM en convertissant les charges JSON au format TOON avant les appels API
  2. Prompts d'analyse de données - Préparer des ensembles de données pour l'analyse LLM avec un encodage plus efficace, permettant des ensembles de données plus grands dans les limites de contexte
  3. Génération de données structurées - Utiliser TOON dans les prompts pour demander aux LLM de générer des données tabulaires plus efficacement que JSON
  4. Traitement de journaux - Convertir les journaux d'applications ou données analytiques en format compact pour l'analyse et la synthèse basées sur LLM
  5. Gestion de configuration - Transformer les fichiers de configuration en format optimisé en tokens lors de l'utilisation de LLM pour la gestion d'infrastructure ou les tâches DevOps

Détails d'efficacité des tokens

TOON réalise des économies importantes de tokens grâce à plusieurs optimisations :

  • Pas de noms de champs répétés - Déclare les champs une fois dans l'en-tête au lieu de répéter pour chaque objet
  • Ponctuation minimale - Supprime les crochets, accolades et guillemets redondants lorsque c'est sûr
  • Format tabulaire - Utilise des lignes de type CSV pour les tableaux uniformes d'objets
  • Flexibilité des délimiteurs - Supporte virgule (par défaut), tabulation ou pipe pour une tokenisation optimale

Exemple de comparaison de tokens (avec tokenizer GPT-5) :

  • JSON (formaté) : 100 enregistrements d'employés ≈ 49 776 tokens
  • TOON : Mêmes données ≈ 17 635 tokens (réduction de 64,6%)
  • CSV : ≈ 15 583 tokens (plus compact, mais sans structure)

TOON offre le meilleur équilibre entre compacité et intégrité structurelle pour les applications LLM.

Aperçu du format

Objets : Paires clé-valeur simples avec indentation pour l'imbrication

id: 123
name: Ada
active: true

Tableaux : Longueur déclarée entre crochets, tableaux primitifs en ligne

tags[3]: reading,gaming,coding

Tableaux tabulaires : Objets uniformes formatés en tables avec en-têtes de champs

items[2]{sku,qty,price}:
  A1,2,9.99
  B2,1,14.5

Règles de guillemets : Les chaînes sont entre guillemets uniquement si nécessaire (contenant des délimiteurs, deux-points ou ressemblant à d'autres types)

Notes de conversion

Lors de la conversion JSON vers TOON :

  • Les tableaux uniformes d'objets utilisent automatiquement le format tabulaire
  • Les structures imbriquées maintiennent une indentation appropriée
  • Les types non-JSON (undefined, fonctions) sont convertis en null
  • Les dates sont converties en chaînes ISO
  • Les nombres évitent la notation scientifique

Lors de la conversion TOON vers JSON :

  • Maintient le formatage JSON standard avec indentation de 2 espaces
  • Valide les longueurs de tableaux et la cohérence des champs
  • Échappe correctement les caractères spéciaux
  • Préserve les informations de type (nombres, booléens, null)