TOON কী (Token-Oriented Object Notation)?

TOON হল একটি সংক্ষিপ্ত, মানব-পাঠযোগ্য ডেটা ফরম্যাট যা বিশেষভাবে Large Language Models (LLMs) এর সাথে কাজ করার জন্য ডিজাইন করা হয়েছে। এটি JSON এর তুলনায় 30-60% token ব্যবহার কমায় যখন পাঠযোগ্যতা এবং কাঠামো বজায় রাখে। TOON YAML এর মতো ইন্ডেন্টেশন-ভিত্তিক ফরম্যাটিং ব্যবহার করে এবং ট্যাবুলার ডেটার জন্য একবার ফিল্ড নাম ঘোষণা করে অপ্রয়োজনীয় বিরাম চিহ্ন দূর করে, যা AI মডেলগুলিতে কাঠামোগত ডেটা পাস করার জন্য আদর্শ যেখানে token খরচ গুরুত্বপূর্ণ।

টুল বর্ণনা

Random TOON Generator Faker.js লাইব্রেরি ব্যবহার করে TOON ফরম্যাটে বাস্তবসম্মত মক ডেটা তৈরি করে। Faker.js প্লেসহোল্ডার (যেমন {{person.firstName}} বা {{number.int(1,100)}}) সহ একটি JSON টেমপ্লেট ব্যবহার করে আপনার ডেটা কাঠামো সংজ্ঞায়িত করুন, এবং টুলটি token-দক্ষ TOON হিসাবে ফরম্যাট করা একাধিক রেকর্ড ডামি ডেটা তৈরি করে। LLM অ্যাপ্লিকেশন পরীক্ষা করা, নমুনা ডেটাসেট তৈরি করা, বা একটি ফরম্যাটে মক API প্রতিক্রিয়া তৈরি করার জন্য নিখুঁত যা AI-বান্ধব এবং সাশ্রয়ী উভয়ই।

উদাহরণ

ইনপুট টেমপ্লেট:

[
  {
    "id": "{{string.uuid}}",
    "firstName": "{{person.firstName}}",
    "email": "{{internet.email}}",
    "age": "{{number.int(18,80)}}"
  }
]

আউটপুট (5 রেকর্ড কমা ডিলিমিটার সহ):

[5]{id,firstName,email,age}:
  a1b2c3d4-e5f6-7890-abcd-ef1234567890,Alice,alice.smith@example.com,45
  b2c3d4e5-f6a7-8901-bcde-fa2345678901,Bob,bob.jones@test.org,28
  c3d4e5f6-a7b8-9012-cdef-ab3456789012,Charlie,charlie.brown@demo.net,67
  d4e5f6a7-b8c9-0123-defa-bc4567890123,Diana,diana.wilson@sample.io,33
  e5f6a7b8-c9d0-1234-efab-cd5678901234,Eve,eve.davis@mock.com,52

বৈশিষ্ট্য

  • Faker.js ইন্টিগ্রেশন: বাস্তবসম্মত ডামি ডেটার জন্য 100+ Faker.js পদ্ধতি ব্যবহার করুন (নাম, ইমেল, ঠিকানা, তারিখ, সংখ্যা, ইত্যাদি)
  • টেমপ্লেট-ভিত্তিক প্রজন্ম: প্লেসহোল্ডার সহ JSON ব্যবহার করে একবার আপনার ডেটা কাঠামো সংজ্ঞায়িত করুন
  • একাধিক ডিলিমিটার বিকল্প: সর্বোত্তম token দক্ষতার জন্য কমা (ডিফল্ট), ট্যাব, বা পাইপ ডিলিমিটার বেছে নিন
  • ব্যাচ প্রজন্ম: স্বয়ংক্রিয় অ্যারে মার্জিং সহ একবারে একাধিক রেকর্ড তৈরি করুন
  • Token-দক্ষ আউটপুট: সমতুল্য JSON ডেটার তুলনায় LLM token খরচ 30-60% কমান
  • ট্যাবুলার ফরম্যাট: অভিন্ন ডেটা কাঠামোর জন্য স্বয়ংক্রিয়ভাবে TOON এর দক্ষ ট্যাবুলার ফরম্যাট ব্যবহার করে
  • লাইভ প্রিভিউ: টেমপ্লেট সংশোধন করার সাথে সাথে আপনার TOON আউটপুট আপডেট হতে দেখুন

ব্যবহারের ক্ষেত্র

  • AI চ্যাটবট বা LLM অ্যাপ্লিকেশন পরীক্ষার জন্য মক ব্যবহারকারী ডেটা তৈরি করুন
  • হ্রাসকৃত token খরচ সহ ডেটা পাইপলাইন প্রশিক্ষণ বা পরীক্ষার জন্য নমুনা ডেটাসেট তৈরি করুন
  • LLM দ্বারা ব্যবহার করা হবে এমন API উন্নয়নের জন্য পরীক্ষা ডেটা তৈরি করুন
  • AI-বান্ধব ফরম্যাট ব্যবহার করে উপস্থাপনা বা ডকুমেন্টেশনের জন্য বাস্তবসম্মত ডেমো ডেটা তৈরি করুন
  • LLM-চালিত অ্যাপ্লিকেশন প্রোটোটাইপিংয়ের জন্য মক ডাটাবেস তৈরি করুন

সমর্থিত Faker.js প্লেসহোল্ডার

টেমপ্লেটে ব্যবহার করতে পারেন এমন সাধারণ প্লেসহোল্ডার:

  • Person: {{person.firstName}}, {{person.lastName}}, {{person.fullName}}, {{person.jobTitle}}
  • Internet: {{internet.email}}, {{internet.url}}, {{internet.userName}}, {{internet.ip}}
  • Location: {{location.city}}, {{location.country}}, {{location.zipCode}}, {{location.streetAddress}}
  • Company: {{company.name}}, {{company.catchPhrase}}, {{company.industry}}
  • Finance: {{finance.amount}}, {{finance.accountNumber}}, {{finance.creditCardNumber}}
  • Date: {{date.past}}, {{date.future}}, {{date.recent}}
  • Numbers: {{number.int(min,max)}}, {{number.float(min,max,precision)}}
  • Text: {{lorem.sentence}}, {{lorem.paragraph}}, {{lorem.words(count)}}
  • IDs: {{string.uuid}}, {{string.alphanumeric(length)}}, {{string.numeric(length)}

উপলব্ধ Faker.js পদ্ধতির সম্পূর্ণ তালিকার জন্য, এখানে দেখুন: https://fakerjs.dev/api/

ডিলিমিটার বিকল্প

  • কমা (,): মান ডিলিমিটার, বেশিরভাগ ব্যবহারের ক্ষেত্রে ভাল
  • ট্যাব (\t): প্রায়শই আরও token-দক্ষ, একক অক্ষর যা ভালভাবে tokenize হয়
  • পাইপ (|): বিকল্প ডিলিমিটার, যখন ডেটা কমা ধারণ করে তখন উপযোগী