ما هو TOON؟

TOON (Token-Oriented Object Notation) هو تنسيق تسلسل بيانات مضغوط وقابل للقراءة من قبل الإنسان صُمم خصيصًا لنماذج اللغة الكبيرة (LLMs). على عكس JSON، الذي يكرر أسماء الحقول لكل كائن داخل مصفوفة، يعلن TOON عن أسماء الحقول مرة واحدة ثم ينقل البيانات على شكل صفوف — مشابهًا لـ CSV لكن به بنية صريحة. هذا التصميم يقلل عادةً من استهلاك الرموز بنسبة 30‑60٪ مقارنةً بـ JSON المنسق، خاصةً للمصفوفات المتجانسة من الكائنات. يجمع TOON بين بنية YAML القائمة على المسافات المتداخلة للكائنات المتداخلة وكفاءة CSV الجدولية، مُحسّنًا لسياقات LLM حيث تكاليف الرموز مهمة.

وصف الأداة

يتحقق هذا المدقق من صحة صيغة TOON من حيث التركيب ويقدم إحصاءات مفصلة حول بنية البيانات. يقوم بتحليل مدخلات TOON باستخدام مكتبة @toon-format/toon الرسمية، يتحقق من صحة الصياغة، ويُخرج مقاييس شاملة تشمل عدد الأحرف، عدد الأسطر، عدد المصفوفات، الكائنات، القيم الأولية، وإجمالي عدد الحقول. استخدم هذه الأداة للتحقق من سلامة بيانات TOON قبل إرسالها إلى LLMs أو لتحليل تعقيد بنية TOON.

الميزات

  • التحقق من الصياغة – يتحقق من صحة صيغة TOON باستخدام المحلل الرسمي
  • عدد الأحرف – إجمالي عدد الأحرف في المدخلات
  • عدد الأسطر – عدد الأسطر في بيانات TOON
  • اكتشاف المصفوفات – يحصي جميع هياكل المصفوفات في البيانات
  • اكتشاف الكائنات – يحصي جميع هياكل الكائنات بما فيها المتداخلة
  • تحليل القيم الأولية – يحصي السلاسل، الأعداد، القيم المنطقية، والقيم الفارغة (null)
  • عدّ الحقول – يجمع كل حقول الكائنات عبر البنية بأكملها
  • التحقق الفوري – رد فعل فوري أثناء الكتابة
  • تظليل الصياغة – تظليل خاص بـ TOON لتحسين قابلية القراءة
  • رسائل الأخطاء – أوصاف واضحة للأخطاء عند وجود صياغة غير صالحة

حالات الاستخدام

  1. التحقق قبل الإرسال – تأكد من صحة صيغة TOON قبل إرسال البيانات إلى واجهات LLM لتفادي الأخطاء وإهدار الرموز
  2. تحليل البنية – افهم تعقيد بيانات TOON من خلال فحص عدد المصفوفات، الكائنات، والحقول
  3. تعلم الصياغة – جرّب أمثلة صيغ TOON لتعلم التنسيق عبر التجربة والخطأ مع رد فعل فوري
  4. فحص جودة البيانات – تأكد من أن بيانات TOON مُنسقة بشكل صحيح بعد الإنشاء أو التحويل من تنسيقات أخرى
  5. تحسين استهلاك الرموز – حلل بنية TOON لتحديد فرص تقليل المزيد من الرموز

شرح الإحصاءات

الأحرف: إجمالي عدد الأحرف بما في ذلك المسافات والمسافات الفارغة. مفيد للمقارنة بين كثافة TOON وJSON.

الأسطر: عدد الأسطر في المدخلات. عادةً ما يستخدم تنسيق TOON الجدولي أسطرًا أقل من JSON المنسق.

المصفوفات: عدد هياكل المصفوفات. المصفوفات الجدولية في TOON ([N]{fields}:) أكثر كفاءة في استهلاك الرموز من مصفوفات JSON للبيانات المتجانسة.

الكائنات: عدد هياكل الكائنات. يشمل ذلك الكائنات الجذرية والكائنات المتداخلة داخل التسلسل الهرمي للبيانات.

القيم الأولية: إجمالي عدد جميع القيم غير المركبة (سلاسل، أعداد، قيم منطقية، null). يوضح كثافة البيانات.

إجمالي الحقول: مجموع جميع خصائص الكائنات عبر البنية بأكملها. تستفيد الحقول الكثيفة أكثر من تنسيق TOON.

عملية التحقق

  1. تحليل مدخلات TOON – يستخدم دالة @toon-format/toon decode لتحليل سلسلة الإدخال
  2. التحقق من الصياغة – إذا نجح التحليل، تكون صيغة TOON صالحة؛ إذا أُثير خطأ، تكون الصياغة غير صالحة
  3. تحليل البنية – يتجول بشكل متكرر في البيانات المُحللة لحساب المصفوفات، الكائنات، والقيم الأولية
  4. حساب الإحصاءات – يُحسب عدد الأحرف، عدد الأسطر، وإجمالي الحقول
  5. عرض النتائج – يُظهر حالة التحقق والإحصاءات المفصلة في منطقة الإخراج

فوائد تنسيق TOON

  • 30‑60٪ رموز أقل مقارنةً بـ JSON للبيانات الجدولية المتجانسة
  • بنية صريحة مع أطوال المصفوفات وإعلانات الحقول
  • ملائم لـ LLM مع آليات حماية تمكّن من التحقق
  • قابل للقراءة بحد أدنى من الصياغة وبنية واضحة
  • تمثيل غير فقدان لبيانات JSON دون فقدان معلومات

متى يُستخدم TOON

يبرع TOON في:

  • مجموعات بيانات كبيرة ذات هياكل مصفوفات متجانسة
  • كائنات مكررة بنفس الحقول
  • ردود API ذات مخططات ثابتة
  • نتائج استعلامات قاعدة بيانات بأعمدة ثابتة
  • أي بيانات JSON حيث تكاليف الرموز مهمة

بالنسبة للبيانات المتداخلة بعمق أو غير المتجانسة، قد يظل JSON أكثر كفاءة.