TOON ফরম্যাট কি?

TOON (Token-Oriented Object Notation) একটি কমপ্যাক্ট, মানব-পাঠযোগ্য ডেটা সিরিয়ালাইজেশন ফরম্যাট যা বিশেষভাবে বড় ভাষা মডেল (LLM) এর জন্য ডিজাইন করা হয়েছে। JSON এর বিপরীতে, যা একটি অ্যারেতে প্রতিটি অবজেক্টের জন্য ফিল্ড নাম পুনরাবৃত্তি করে, TOON ফিল্ড নাম একবার ঘোষণা করে এবং তারপর ডেটা সারিতে স্ট্রিম করে—CSV এর মতো কিন্তু স্পষ্ট কাঠামো সহ। এই ডিজাইন সাধারণত ফরম্যাট করা JSON এর তুলনায় 30-60% টোকেন ব্যবহার হ্রাস করে, বিশেষত অবজেক্টের একীভূত অ্যারেগুলির জন্য। TOON নেস্টেড অবজেক্টের জন্য YAML এর ইন্ডেন্টেশন-ভিত্তিক কাঠামো এবং একীভূত ডেটার জন্য CSV এর ট্যাবুলার দক্ষতা একত্রিত করে, LLM প্রসঙ্গে অপ্টিমাইজ করা যেখানে টোকেন খরচ গুরুত্বপূর্ণ।

টুল বর্ণনা

এই কনভার্টার JSON এবং TOON ফরম্যাটের মধ্যে দ্বিমুখীভাবে ডেটা রূপান্তরিত করে। আপনার JSON ডেটা পেস্ট করুন কমপ্যাক্ট TOON আউটপুট তৈরি করতে, অথবা TOON কে স্ট্যান্ডার্ড JSON এ রূপান্তরিত করুন। টুলটি নির্ভুল রূপান্তর নিশ্চিত করতে অফিসিয়াল @toon-format/toon লাইব্রেরি ব্যবহার করে। TOON বিশেষভাবে কার্যকর পুনরাবৃত্ত কাঠামোযুক্ত ডেটাসেটের জন্য—যেমন ব্যবহারকারীর রেকর্ড, লেনদেন লগ, API প্রতিক্রিয়া, বা যেকোনো ট্যাবুলার ডেটা—যেখানে টোকেন সংখ্যা হ্রাস করা LLM এর সাথে কাজ করার সময় দক্ষতা উন্নত করে।

উদাহরণ

JSON ইনপুট:

{
  "users": [
    { "id": 1, "name": "Alice", "role": "admin" },
    { "id": 2, "name": "Bob", "role": "user" }
  ]
}

TOON আউটপুট:

users[2]{id,name,role}:
  1,Alice,admin
  2,Bob,user

নেস্টেড কাঠামোর উদাহরণ:

নেস্টেড অবজেক্ট সহ JSON ইন্ডেন্টেড TOON ফরম্যাটে রূপান্তরিত হয়:

{
  "order": {
    "id": "ORD-456",
    "items": [
      { "sku": "A1", "qty": 2, "price": 19.99 },
      { "sku": "B2", "qty": 1, "price": 29.99 }
    ],
    "total": 69.97
  }
}

হয়ে যায়:

order:
  id: ORD-456
  items[2]{sku,qty,price}:
    A1,2,19.99
    B2,1,29.99
  total: 69.97

বৈশিষ্ট্য

  • দ্বিমুখী রূপান্তর JSON এবং TOON ফরম্যাটের মধ্যে সম্পূর্ণ নির্ভুলতার সাথে
  • উল্লেখযোগ্য টোকেন হ্রাস (একীভূত অ্যারেগুলির জন্য JSON এর তুলনায় 30-60% কম টোকেন)
  • ডেটা কাঠামো সংরক্ষণ নেস্টেড অবজেক্ট, অ্যারে এবং প্রাথমিক মান সহ
  • স্বয়ংক্রিয় ফরম্যাট সনাক্তকরণ এবং সর্বোত্তম এনকোডিং কৌশল
  • মানব-পাঠযোগ্য আউটপুট একীভূত ডেটার জন্য স্পষ্ট ট্যাবুলার কাঠামো সহ
  • টাইপ-নিরাপদ রূপান্তর সংখ্যা, বুলিয়ান, null এবং স্ট্রিং সঠিকভাবে বজায় রেখে
  • প্রান্তিক ক্ষেত্রে পরিচালনা খালি অ্যারে, নেস্টেড কাঠামো এবং মিশ্র প্রকার সহ
  • রিয়েল-টাইম রূপান্তর আপনি টাইপ করার সাথে সাথে তাৎক্ষণিক ফলাফল সহ

ব্যবহারের ক্ষেত্র

  1. LLM API অপ্টিমাইজেশন - GPT, Claude বা অন্যান্য LLM এ কাঠামোগত ডেটা পাঠানোর সময় টোকেন খরচ হ্রাস করুন JSON পেলোড কে TOON ফরম্যাটে রূপান্তরিত করে API কল করার আগে
  2. ডেটা বিশ্লেষণ প্রম্পট - আরও দক্ষ এনকোডিং সহ LLM বিশ্লেষণের জন্য ডেটাসেট প্রস্তুত করুন, প্রসঙ্গ সীমার মধ্যে বৃহত্তর ডেটাসেট অনুমতি দেয়
  3. কাঠামোগত ডেটা প্রজন্ম - TOON ব্যবহার করুন প্রম্পটে LLM কে JSON এর চেয়ে আরও দক্ষতার সাথে ট্যাবুলার ডেটা তৈরি করতে অনুরোধ করতে
  4. লগ প্রসেসিং - অ্যাপ্লিকেশন লগ বা বিশ্লেষণ ডেটা কমপ্যাক্ট ফরম্যাটে রূপান্তরিত করুন LLM-ভিত্তিক বিশ্লেষণ এবং সংক্ষিপ্তকরণের জন্য
  5. কনফিগারেশন ম্যানেজমেন্ট - কনফিগারেশন ফাইল টোকেন-দক্ষ ফরম্যাটে রূপান্তরিত করুন যখন অবকাঠামো ব্যবস্থাপনা বা DevOps কাজের জন্য LLM ব্যবহার করেন

টোকেন দক্ষতা বিবরণ

TOON বেশ কয়েকটি অপ্টিমাইজেশনের মাধ্যমে উল্লেখযোগ্য টোকেন সঞ্চয় অর্জন করে:

  • কোন পুনরাবৃত্ত ফিল্ড নাম নেই - প্রতিটি অবজেক্টের জন্য পুনরাবৃত্তি করার পরিবর্তে হেডারে একবার ফিল্ড ঘোষণা করে
  • ন্যূনতম বিরাম চিহ্ন - যেখানে নিরাপদ সেখানে অপ্রয়োজনীয় বন্ধনী, ব্রেস এবং উদ্ধৃতি সরিয়ে দেয়
  • ট্যাবুলার ফরম্যাট - একীভূত অবজেক্টের অ্যারেগুলির জন্য CSV-এর মতো সারি ব্যবহার করে
  • ডিলিমিটার নমনীয়তা - সর্বোত্তম টোকেনাইজেশনের জন্য কমা (ডিফল্ট), ট্যাব বা পাইপ ডিলিমিটার সমর্থন করে

টোকেন তুলনা উদাহরণ (GPT-5 টোকেনাইজার ব্যবহার করে):

  • JSON (ফরম্যাট করা): 100 কর্মচারী রেকর্ড ≈ 49,776 টোকেন
  • TOON: একই ডেটা ≈ 17,635 টোকেন (64.6% হ্রাস)
  • CSV: ≈ 15,583 টোকেন (সবচেয়ে কমপ্যাক্ট, কিন্তু কাঠামোর অভাব)

TOON LLM অ্যাপ্লিকেশনগুলির জন্য সংক্ষিপ্ততা এবং কাঠামোগত অখণ্ডতার মধ্যে সেরা ভারসাম্য প্রদান করে।

ফরম্যাট ওভারভিউ

অবজেক্ট: নেস্টিংয়ের জন্য ইন্ডেন্টেশন সহ সাধারণ কী-মূল্য জোড়া

id: 123
name: Ada
active: true

অ্যারে: দৈর্ঘ্য বন্ধনীতে ঘোষিত, প্রাথমিক অ্যারে ইনলাইন

tags[3]: reading,gaming,coding

ট্যাবুলার অ্যারে: ফিল্ড হেডার সহ টেবিল হিসাবে ফরম্যাট করা একীভূত অবজেক্ট

items[2]{sku,qty,price}:
  A1,2,9.99
  B2,1,14.5

উদ্ধৃতি নিয়ম: স্ট্রিং শুধুমাত্র প্রয়োজনে উদ্ধৃত করা হয় (ডিলিমিটার, কোলন ধারণ করে বা অন্যান্য প্রকারের মতো দেখায়)

রূপান্তর নোট

JSON কে TOON এ রূপান্তরিত করার সময়:

  • অবজেক্টের একীভূত অ্যারে স্বয়ংক্রিয়ভাবে ট্যাবুলার ফরম্যাট ব্যবহার করে
  • নেস্টেড কাঠামো সঠিক ইন্ডেন্টেশন বজায় রাখে
  • অ-JSON প্রকার (undefined, functions) null এ রূপান্তরিত হয়
  • তারিখ ISO স্ট্রিংয়ে রূপান্তরিত হয়
  • সংখ্যা বৈজ্ঞানিক স্বরলিপি এড়ায়

TOON কে JSON এ রূপান্তরিত করার সময়:

  • 2-স্পেস ইন্ডেন্টেশন সহ স্ট্যান্ডার্ড JSON ফরম্যাটিং বজায় রাখে
  • অ্যারে দৈর্ঘ্য এবং ফিল্ড সামঞ্জস্য যাচাই করে
  • বিশেষ অক্ষর সঠিকভাবে এস্কেপ করে
  • টাইপ তথ্য সংরক্ষণ করে (সংখ্যা, বুলিয়ান, null)