Τι είναι το TOON;

Το TOON (Token-Oriented Object Notation) είναι μια συμπαγής, ευανάγνωστη μορφή σειριοποίησης δεδομένων σχεδιασμένη ειδικά για Μεγάλα Γλωσσικά Μοντέλα (LLMs). Σε αντίθεση με το JSON, το οποίο επαναλαμβάνει τα ονόματα των πεδίων για κάθε αντικείμενο σε έναν πίνακα, το TOON δηλώνει τα ονόματα των πεδίων μία φορά και στη συνέχεια μεταδίδει τα δεδομένα σε σειρές—παρόμοια με το CSV αλλά με ρητή δομή. Αυτός ο σχεδιασμός συνήθως μειώνει τη χρήση token κατά 30-60% σε σύγκριση με το μορφοποιημένο JSON, ιδιαίτερα για ομοιόμορφους πίνακες αντικειμένων. Το TOON συνδυάζει τη δομή βασισμένη στη στοίχιση του YAML για ένθετα αντικείμενα με την ταβλική απόδοση του CSV, βελτιστοποιημένο για περιβάλλοντα LLM όπου το κόστος των token έχει σημασία.

Περιγραφή εργαλείου

Αυτός ο επικυρωτής ελέγχει τη σύνταξη της μορφής TOON για ορθότητα και παρέχει λεπτομερείς στατιστικές σχετικά με τη δομή των δεδομένων. Αναλύει την είσοδο TOON χρησιμοποιώντας την επίσημη βιβλιοθήκη @toon-format/toon, επικυρώνει τη σύνταξη και εξάγει ολοκληρωμένες μετρήσεις που περιλαμβάνουν τον αριθμό χαρακτήρων, τον αριθμό γραμμών, τον αριθμό πινάκων, αντικειμένων, πρωτόγονων τιμών και το συνολικό αριθμό πεδίων. Χρησιμοποιήστε αυτό το εργαλείο για να επαληθεύσετε την ακεραιότητα των δεδομένων TOON πριν τα στείλετε σε LLMs ή για να αναλύσετε την πολυπλοκότητα της δομής TOON.

Χαρακτηριστικά

  • Επικύρωση σύνταξης - Επαληθεύει την ορθότητα της μορφής TOON χρησιμοποιώντας τον επίσημο αναλυτή
  • Αριθμός χαρακτήρων - Συνολικός αριθμός χαρακτήρων στην είσοδο
  • Αριθμός γραμμών - Αριθμός γραμμών στα δεδομένα TOON
  • Ανίχνευση πινάκων - Μετράει όλες τις δομές πινάκων στα δεδομένα
  • Ανίχνευση αντικειμένων - Μετράει όλες τις δομές αντικειμένων συμπεριλαμβανομένων των ένθετων
  • Ανάλυση πρωτόγονων - Μετράει συμβολοσειρές, αριθμούς, boolean και null τιμές
  • Μέτρηση πεδίων - Συνολικά όλα τα πεδία αντικειμένων σε ολόκληρη τη δομή
  • Επικύρωση σε πραγματικό χρόνο - Άμεση ανατροφοδότηση καθώς πληκτρολογείτε
  • Επισήμανση σύνταξης - Επισήμανση κώδικα ειδική για TOON για καλύτερη αναγνωσιμότητα
  • Μηνύματα σφάλματος - Σαφείς περιγραφές σφαλμάτων για μη έγκυρη σύνταξη

Περιπτώσεις χρήσης

  1. Επικύρωση πριν την υποβολή - Επαληθεύστε τη σύνταξη TOON πριν στείλετε δεδομένα σε API LLM για να αποφύγετε σφάλματα και σπατάλη token
  2. Ανάλυση δομής - Κατανοήστε την πολυπλοκότητα των δεδομένων TOON εξετάζοντας τον αριθμό πινάκων, αντικειμένων και πεδίων
  3. Εκμάθηση μορφής - Δοκιμάστε παραδείγματα σύνταξης TOON για να μάθετε τη μορφή μέσω δοκιμής και σφάλματος με άμεση ανατροφοδότηση
  4. Έλεγχος ποιότητας δεδομένων - Βεβαιωθείτε ότι τα δεδομένα TOON είναι σωστά μορφοποιημένα μετά τη δημιουργία ή τη μετατροπή από άλλες μορφές
  5. Βελτιστοποίηση token - Αναλύστε τη δομή TOON για να εντοπίσετε ευκαιρίες για περαιτέρω μείωση token

Εξήγηση στατιστικών

Χαρακτήρες: Συνολικός αριθμός χαρακτήρων συμπεριλαμβανομένων κενών και αλλαγών γραμμής. Χρήσιμο για σύγκριση της συμπαγότητας TOON με JSON.

Γραμμές: Αριθμός γραμμών στην είσοδο. Η ταβλική μορφή του TOON συνήθως χρησιμοποιεί λιγότερες γραμμές από το μορφοποιημένο JSON.

Πίνακες: Αριθμός δομών πινάκων. Οι ταβλικοί πίνακες TOON ([N]{fields}:) είναι πιο αποδοτικοί σε token από τους πίνακες JSON για ομοιόμορφα δεδομένα.

Αντικείμενα: Αριθμός δομών αντικειμένων. Περιλαμβάνει τόσο τα αντικείμενα ρίζας όσο και τα ένθετα αντικείμενα στην ιεραρχία δεδομένων.

Πρωτόγονες τιμές: Συνολικός αριθμός όλων των μη σύνθετων τιμών (συμβολοσειρές, αριθμοί, boolean, null). Δείχνει την πυκνότητα δεδομένων.

Συνολικά πεδία: Άθροισμα όλων των ιδιοτήτων αντικειμένων σε ολόκληρη τη δομή. Τα υψηλά αριθμητικά πεδία ωφελούνται περισσότερο από τη μορφή TOON.

Διαδικασία επικύρωσης

  1. Ανάλυση εισόδου TOON - Χρησιμοποιεί τη συνάρτηση αποκωδικοποίησης @toon-format/toon για ανάλυση της συμβολοσειράς εισόδου
  2. Επικύρωση σύνταξης - Εάν η ανάλυση ολοκληρωθεί με επιτυχία, η σύνταξη TOON είναι έγκυρη· εάν εμφανίσει σφάλμα, η σύνταξη είναι μη έγκυρη
  3. Ανάλυση δομής - Διασχίζει αναδρομικά τα αναλυμένα δεδομένα για να μετρήσει πίνακες, αντικείμενα και πρωτόγονα
  4. Υπολογισμός στατιστικών - Υπολογίζει τον αριθμό χαρακτήρων, τον αριθμό γραμμών και τα συνολικά πεδία
  5. Εμφάνιση αποτελεσμάτων - Εμφανίζει την κατάσταση επικύρωσης και λεπτομερείς στατιστικές στην περιοχή εξόδου

Οφέλη της μορφής TOON

  • 30-60% λιγότερα token από το JSON για ομοιόμορφα ταβλικά δεδομένα
  • Ρητή δομή με δηλώσεις μήκους πίνακα και πεδίων
  • Φιλική προς LLM με φράγματα που επιτρέπουν την επικύρωση
  • Ευανάγνωστη με ελάχιστη σύνταξη και σαφή δομή
  • Χωρίς απώλειες αναπαράσταση δεδομένων JSON χωρίς απώλεια πληροφοριών

Πότε να χρησιμοποιήσετε το TOON

Το TOON διαπρέπει με:

  • Μεγάλα σύνολα δεδομένων με ομοιόμορφες δομές πινάκων
  • Επαναλαμβανόμενα αντικείμενα με τα ίδια πεδία
  • Απαντήσεις API με συνεπή σχήματα
  • Αποτελέσματα ερωτημάτων βάσης δεδομένων με σταθερές στήλες
  • Οποιαδήποτε δεδομένα JSON όπου το κόστος των token έχει σημασία

Για βαθιά ένθετα ή μη ομοιόμορφα δεδομένα, το JSON μπορεί να παραμείνει πιο αποδοτικό.