TOON とは？

TOON (Token-Oriented Object Notation) は、大規模言語モデル (LLM) 向けに特別に設計されたコンパクトで人間が読みやすいデータシリアライゼーション形式です。配列内のすべてのオブジェクトに対してフィールド名を繰り返す JSON とは異なり、TOON はフィールド名を一度宣言してからデータを行で送信します。これは CSV に似ていますが、明示的な構造を持っています。この設計により、特に均一なオブジェクト配列の場合、フォーマット済み JSON と比べて通常 30～60% のトークン使用量削減が実現します。TOON は、ネストされたオブジェクト用の YAML のインデント構造と CSV の表形式の効率性を組み合わせており、トークンコストが重要な LLM コンテキストに最適化されています。

ツール説明

このバリデータは TOON 形式の構文の正確性をチェックし、データ構造に関する詳細な統計情報を提供します。公式の @toon-format/toon ライブラリを使用して TOON 入力を解析し、構文を検証し、文字数、行数、配列数、オブジェクト数、プリミティブ値数、および総フィールド数を含む包括的なメトリクスを出力します。このツールを使用して、LLM に送信する前に TOON データの整合性を確認するか、TOON 構造の複雑さを分析してください。

機能

  • 構文検証 - 公式パーサーを使用して TOON 形式の正確性を検証
  • 文字数カウント - 入力の総文字数
  • 行数カウント - TOON データの行数
  • 配列検出 - データ内のすべての配列構造をカウント
  • オブジェクト検出 - ネストされたものを含むすべてのオブジェクト構造をカウント
  • プリミティブ分析 - 文字列、数値、ブール値、null 値をカウント
  • フィールドカウント - 構造全体のすべてのオブジェクトフィールドを合計
  • リアルタイム検証 - 入力時に即座にフィードバック
  • 構文ハイライト - より読みやすくするための TOON 固有のコードハイライト
  • エラーメッセージ - 無効な構文に対する明確なエラー説明

ユースケース

  1. 送信前検証 - LLM API にデータを送信する前に TOON 構文を検証し、エラーとトークン無駄を回避
  2. 構造分析 - 配列、オブジェクト、フィールド数を調べることで TOON データの複雑さを理解
  3. 形式学習 - 即座にフィードバックを得ながら TOON 構文例をテストして、試行錯誤を通じて形式を学習
  4. データ品質チェック - 他の形式から生成または変換された後、TOON データが適切にフォーマットされていることを確認
  5. トークン最適化 - TOON 構造を分析して、さらなるトークン削減の機会を特定

統計情報の説明

文字数: 空白と改行を含む総文字数。TOON の JSON に対するコンパクト性を比較するのに便利です。

行数: 入力の行数。TOON の表形式は通常、フォーマット済み JSON より少ない行数を使用します。

配列: 配列構造のカウント。TOON の表形式配列 ([N]{fields}:) は、均一なデータの場合 JSON 配列よりトークン効率が高くなります。

オブジェクト: オブジェクト構造のカウント。データ階層内のルートオブジェクトとネストされたオブジェクトの両方を含みます。

プリミティブ値: すべての非複合値 (文字列、数値、ブール値、null) の総カウント。データ密度を示します。

総フィールド数: 構造全体のすべてのオブジェクトプロパティの合計。フィールド数が多いほど TOON 形式の恩恵を受けます。

検証プロセス

  1. TOON 入力を解析 - @toon-format/toon デコード関数を使用して入力文字列を解析
  2. 構文を検証 - 解析が成功すれば TOON 構文は有効。エラーがスローされれば構文は無効
  3. 構造を分析 - 解析されたデータを再帰的にトラバースして、配列、オブジェクト、プリミティブをカウント
  4. 統計情報を計算 - 文字数、行数、フィールド合計を計算
  5. 結果を表示 - 検証ステータスと詳細な統計情報を出力領域に表示

TOON 形式の利点

  • 均一な表形式データの場合、JSON より 30～60% 少ないトークン
  • 配列長とフィールド宣言を備えた 明示的な構造
  • ガードレールを備えた LLM フレンドリー で検証を有効化
  • 最小限の構文と明確な構造を備えた 人間が読みやすい
  • 情報損失なしの JSON データの ロスレス 表現

TOON を使用する場合

TOON は以下に最適です:

  • 均一な配列構造を持つ大規模データセット
  • 同じフィールドを持つ繰り返されるオブジェクト
  • 一貫したスキーマを持つ API レスポンス
  • 固定列を持つデータベースクエリ結果
  • トークンコストが重要な JSON データ

深くネストされた、または不均一なデータの場合、JSON の方が効率的である可能性があります。