TOON फ़ॉर्मेट क्या है?

TOON (Token-Oriented Object Notation) एक कॉम्पैक्ट, मानव-पठनीय डेटा सीरियलाइज़ेशन फ़ॉर्मेट है जो विशेष रूप से Large Language Models (LLMs) के लिए डिज़ाइन किया गया है। JSON के विपरीत, जो एरे में प्रत्येक ऑब्जेक्ट के लिए फ़ील्ड नाम दोहराता है, TOON फ़ील्ड नाम एक बार घोषित करता है और फिर डेटा को पंक्तियों में स्ट्रीम करता है—CSV के समान लेकिन स्पष्ट संरचना के साथ। यह डिज़ाइन फ़ॉर्मेटेड JSON की तुलना में टोकन उपयोग को 30-60% तक कम करता है, विशेष रूप से समान ऑब्जेक्ट्स की एरे के लिए। TOON ने YAML की इंडेंटेशन-आधारित संरचना को नेस्टेड ऑब्जेक्ट्स के लिए और CSV की टेबलर दक्षता को मिलाकर, LLM संदर्भों में जहाँ टोकन लागत महत्वपूर्ण है, अनुकूलित किया है।

टूल विवरण

यह कन्वर्टर डेटा को JSON और TOON फ़ॉर्मेट्स के बीच द्विदिशीय रूप से बदलता है। बस अपना JSON डेटा पेस्ट करें ताकि कॉम्पैक्ट TOON आउटपुट जनरेट हो सके, या TOON को वापस मानक JSON में बदलें। टूल आधिकारिक @toon-format/toon लाइब्रेरी का उपयोग करता है ताकि सटीक रूपांतरण सुनिश्चित हो सके। TOON विशेष रूप से उन डेटासेट्स के लिए प्रभावी है जिनमें दोहराव वाली संरचनाएँ होती हैं—जैसे उपयोगकर्ता रिकॉर्ड, ट्रांज़ैक्शन लॉग, API प्रतिक्रियाएँ, या कोई भी टेबलर डेटा—जहाँ टोकन संख्या कम करने से LLMs के साथ काम करते समय दक्षता बढ़ती है।

उदाहरण

JSON इनपुट:

{
  "users": [
    { "id": 1, "name": "Alice", "role": "admin" },
    { "id": 2, "name": "Bob", "role": "user" }
  ]
}

TOON आउटपुट:

users[2]{id,name,role}:
  1,Alice,admin
  2,Bob,user

नेस्टेड स्ट्रक्चर उदाहरण:

नेस्टेड ऑब्जेक्ट्स वाला JSON इंडेंटेड TOON फ़ॉर्मेट में बदलता है:

{
  "order": {
    "id": "ORD-456",
    "items": [
      { "sku": "A1", "qty": 2, "price": 19.99 },
      { "sku": "B2", "qty": 1, "price": 29.99 }
    ],
    "total": 69.97
  }
}

परिणाम:

order:
  id: ORD-456
  items[2]{sku,qty,price}:
    A1,2,19.99
    B2,1,29.99
  total: 69.97

विशेषताएँ

  • द्विदिशीय रूपांतरण JSON और TOON फ़ॉर्मेट्स के बीच पूर्ण सटीकता के साथ
  • महत्वपूर्ण टोकन कमी (समान एरे के लिए JSON की तुलना में 30-60% कम टोकन)
  • डेटा संरचना को संरक्षित रखता है जिसमें नेस्टेड ऑब्जेक्ट्स, एरे, और प्रिमिटिव वैल्यूज़ शामिल हैं
  • स्वचालित फ़ॉर्मेट पहचान और इष्टतम एन्कोडिंग रणनीति
  • मानव-पठनीय आउटपुट स्पष्ट टेबलर संरचना के साथ समान डेटा के लिए
  • टाइप-सेफ़ रूपांतरण संख्याएँ, बूलियन, null, और स्ट्रिंग्स को सही ढंग से बनाए रखता है
  • एज केसों को संभालता है जिसमें खाली एरे, नेस्टेड स्ट्रक्चर, और मिश्रित प्रकार शामिल हैं
  • रियल‑टाइम रूपांतरण टाइप करते ही तुरंत परिणाम देता है

उपयोग केस

  1. LLM API अनुकूलन - JSON पेलोड को TOON फ़ॉर्मेट में बदलकर GPT, Claude, या अन्य LLMs को संरचित डेटा भेजते समय टोकन लागत कम करें
  2. डेटा विश्लेषण प्रॉम्प्ट्स - अधिक कुशल एन्कोडिंग के साथ डेटासेट तैयार करें ताकि LLM विश्लेषण में बड़े डेटासेट को कॉन्टेक्स्ट सीमा में फिट किया जा सके
  3. संरचित डेटा जेनरेशन - प्रॉम्प्ट्स में TOON का उपयोग करके LLMs से JSON की तुलना में अधिक कुशल टेबलर डेटा उत्पन्न करवाएँ
  4. लॉग प्रोसेसिंग - एप्लिकेशन लॉग या एनालिटिक्स डेटा को कॉम्पैक्ट फ़ॉर्मेट में बदलें ताकि LLM‑आधारित विश्लेषण और सारांशण किया जा सके
  5. कॉन्फ़िगरेशन प्रबंधन - इन्फ्रास्ट्रक्चर मैनेजमेंट या DevOps कार्यों के लिए LLMs का उपयोग करते समय कॉन्फ़िगरेशन फ़ाइलों को टोकन‑कुशल फ़ॉर्मेट में बदलें

टोकन दक्षता विवरण

TOON कई अनुकूलनों के माध्यम से महत्वपूर्ण टोकन बचत हासिल करता है:

  • फ़ील्ड नाम दोहराए नहीं जाते - हेडर में फ़ील्ड को एक बार घोषित करता है, प्रत्येक ऑब्जेक्ट के लिए दोहराने के बजाय
  • न्यूनतम विराम चिह्न - जहाँ सुरक्षित हो, अनावश्यक ब्रैकेट, ब्रेसेस और कोट्स हटाता है
  • टेबलर फ़ॉर्मेट - समान ऑब्जेक्ट्स की एरे के लिए CSV‑समान पंक्तियों का उपयोग करता है
  • डिलिमिटर लचीलापन - इष्टतम टोकनाइज़ेशन के लिए कॉमा (डिफ़ॉल्ट), टैब, या पाइप डिलिमिटर को सपोर्ट करता है

टोकन तुलना उदाहरण (GPT-5 टोकनाइज़र का उपयोग करके):

  • JSON (फ़ॉर्मेटेड): 100 कर्मचारी रिकॉर्ड ≈ 49,776 टोकन
  • TOON: समान डेटा ≈ 17,635 टोकन (64.6% कमी)
  • CSV: ≈ 15,583 टोकन (सबसे कॉम्पैक्ट, लेकिन संरचना नहीं)

TOON LLM अनुप्रयोगों के लिए कॉम्पैक्टनेस और संरचनात्मक अखंडता के बीच सबसे अच्छा संतुलन प्रदान करता है।

फ़ॉर्मेट अवलोकन

ऑब्जेक्ट्स: नेस्टिंग के लिए इंडेंटेशन के साथ सरल की‑वैल्यू जोड़े

id: 123
name: Ada
active: true

एरेज़: लंबाई को ब्रैकेट में घोषित किया जाता है, प्रिमिटिव एरे इनलाइन

tags[3]: reading,gaming,coding

टेबलर एरेज़: फ़ील्ड हेडर के साथ टेबल के रूप में फ़ॉर्मेट किए गए समान ऑब्जेक्ट्स

items[2]{sku,qty,price}:
  A1,2,9.99
  B2,1,14.5

कोटिंग नियम: स्ट्रिंग्स को केवल आवश्यक होने पर ही कोट किया जाता है (डिलिमिटर, कोलन शामिल होने पर, या अन्य प्रकारों जैसा दिखने पर)

रूपांतरण नोट्स

JSON से TOON में बदलते समय:

  • समान ऑब्जेक्ट्स की एरे स्वचालित रूप से टेबलर फ़ॉर्मेट का उपयोग करती है
  • नेस्टेड स्ट्रक्चर उचित इंडेंटेशन बनाए रखते हैं
  • गैर‑JSON प्रकार (undefined, functions) को null में बदलते हैं
  • डेट्स को ISO स्ट्रिंग्स में बदलते हैं
  • संख्याएँ वैज्ञानिक नोटेशन से बचती हैं

TOON से JSON में बदलते समय:

  • 2‑स्पेस इंडेंटेशन के साथ मानक JSON फ़ॉर्मेट बनाए रखता है
  • एरे की लंबाई और फ़ील्ड संगति को वैलिडेट करता है
  • विशेष अक्षरों को सही ढंग से एस्केप करता है
  • टाइप जानकारी (संख्याएँ, बूलियन, null) को संरक्षित रखता है