TOON Nedir?

TOON (Token-Oriented Object Notation), Büyük Dil Modelleri (LLMs) için özel olarak tasarlanmış, kompakt ve insan tarafından okunabilir bir veri serileştirme formatıdır. JSON'un bir dizi içinde her nesne için alan adlarını tekrarlamasının aksine, TOON alan adlarını bir kez bildirir ve ardından veriyi satırlar halinde iletir—CSV'ye benzer ancak açık bir yapıya sahiptir. Bu tasarım, özellikle uniform nesne dizileri için, biçimlendirilmiş JSON'a kıyasla token kullanımını %30‑60 azaltır. TOON, iç içe nesneler için YAML'ın girinti tabanlı yapısını CSV'nin tablo verimliliğiyle birleştirir ve token maliyetlerinin önemli olduğu LLM bağlamları için optimize edilmiştir.

Araç Açıklaması

Bu doğrulayıcı, TOON formatı sözdiziminin doğruluğunu kontrol eder ve veri yapısı hakkında ayrıntılı istatistikler sunar. Girdiyi resmi @toon-format/toon kütüphanesiyle ayrıştırır, sözdizimini doğrular ve karakter sayısı, satır sayısı, dizi, nesne, ilkel değer ve toplam alan sayısı gibi kapsamlı metrikler üretir. TOON veri bütünlüğünü LLM'lere göndermeden önce doğrulamak veya TOON yapısının karmaşıklığını analiz etmek için bu aracı kullanın.

Özellikler

  • Sözdizimi doğrulama - Resmi ayrıştırıcıyı kullanarak TOON formatının doğruluğunu doğrular
  • Karakter sayısı - Girdideki toplam karakter sayısı
  • Satır sayısı - TOON verisindeki satır sayısı

İstatistikler açıklaması

Karakterler: Boşluk ve yeni satır karakterleri dahil toplam karakter sayısı. TOON'un JSON'a göre sıkıştırmasını karşılaştırmak için faydalıdır.

Satırlar: Girdideki satır sayısı. TOON'un tablo biçimi genellikle biçimlendirilmiş JSON'dan daha az satır kullanır.

Diziler: Dizi yapıların sayısı. TOON'un tablo dizileri ([N]{fields}:) uniform veri için JSON dizilerine göre daha token‑verimlidir.

Nesneler: Nesne yapıların sayısı. Hem kök nesneleri hem de veri hiyerarşisindeki iç içe nesneleri içerir.

İlkel değerler: Tüm birleşik olmayan değerlerin (dizeler, sayılar, boolean, null) toplam sayısı. Veri yoğunluğunu gösterir.

Toplam alanlar: Tüm yapı boyunca nesne özelliklerinin toplamı. Yüksek alan sayısı TOON formatından en çok fayda sağlar.

Doğrulama süreci

  1. TOON girdisini ayrıştır - Girdi dizesini ayrıştırmak için @toon-format/toon decode fonksiyonunu kullanır
  2. Sözdizimini doğrula - Ayrıştırma başarılıysa TOON sözdizimi geçerlidir; hata fırlatırsa sözdizimi geçersizdir
  3. Yapıyı analiz et - Ayrıştırılmış veriyi özyinelemeli olarak dolaşarak dizileri, nesneleri ve ilkel değerleri sayar
  4. İstatistikleri hesapla - Karakter sayısı, satır sayısı ve alan toplamlarını hesaplar
  5. Sonuçları göster - Çıktı alanında doğrulama durumunu ve ayrıntılı istatistikleri gösterir

TOON formatı avantajları

  • 30-60% daha az token - Uniform tablo verisi için JSON'dan daha az token kullanır
  • Açık yapı - Dizi uzunlukları ve alan bildirimleriyle
  • LLM‑uyumlu - Doğrulamayı mümkün kılan koruma önlemleriyle
  • İnsan tarafından okunabilir - Minimum sözdizimi ve net yapı ile
  • Kayıpsız - JSON verisinin bilgi kaybı olmadan temsili

TOON ne zaman kullanılmalı

TOON şu durumlarda mükemmeldir:

  • Uniform dizi yapılarına sahip büyük veri kümeleri
  • Aynı alanlara sahip tekrarlanan nesneler
  • Tutarlı şemalara sahip API yanıtları
  • Sabit sütunlara sahip veritabanı sorgu sonuçları
  • Token maliyetlerinin önemli olduğu tüm JSON verileri

Derin iç içe veya uniform olmayan veriler için JSON hâlâ daha verimli olabilir.