Τι είναι η μορφή TOON;

Το TOON (Token-Oriented Object Notation) είναι μια συμπαγής, ευανάγνωστη μορφή σειριοποίησης δεδομένων σχεδιασμένη ειδικά για Μεγάλα Γλωσσικά Μοντέλα (LLMs). Σε αντίθεση με το JSON, το οποίο επαναλαμβάνει τα ονόματα πεδίων για κάθε αντικείμενο σε έναν πίνακα, το TOON δηλώνει τα ονόματα πεδίων μία φορά και στη συνέχεια ροές δεδομένων σε σειρές—παρόμοια με το CSV αλλά με ρητή δομή. Αυτός ο σχεδιασμός συνήθως μειώνει τη χρήση token κατά 30-60% σε σύγκριση με το μορφοποιημένο JSON, ιδιαίτερα για ομοιόμορφους πίνακες αντικειμένων. Το TOON συνδυάζει τη δομή βασισμένη σε εσοχή του YAML για ένθετα αντικείμενα με την ταβλική αποδοτικότητα του CSV, βελτιστοποιημένη για περιβάλλοντα LLM όπου το κόστος token έχει σημασία.

Τι είναι το XML;

Το XML (eXtensible Markup Language) είναι μια ευρέως χρησιμοποιούμενη γλώσσα σήμανσης για την κωδικοποίηση εγγράφων σε μορφή που είναι τόσο ευανάγνωστη όσο και αναγνώσιμη από μηχανές. Το XML χρησιμοποιεί ετικέτες για τον ορισμό στοιχείων και χαρακτηριστικών, δημιουργώντας μια ιεραρχική δομή δέντρου. Χρησιμοποιείται συνήθως για αρχεία διαμόρφωσης, ανταλλαγή δεδομένων μεταξύ συστημάτων, υπηρεσίες ιστού (SOAP), μορφές εγγράφων (Office Open XML) και τροφοδοσίες RSS. Ενώ το XML είναι περιγραφικό και ρητό, παρέχει ισχυρές δυνατότητες επικύρωσης και υποστηρίζει σύνθετες ένθετες δομές.

Περιγραφή εργαλείου

Αυτός ο μετατροπέας μετασχηματίζει δεδομένα αμφίδρομα μεταξύ των μορφών TOON και XML χρησιμοποιώντας JSON ως ενδιάμεση μορφή. Η διαδικασία μετατροπής είναι: TOON ↔ JSON ↔ XML. Αυτή η προσέγγιση διασφαλίζει αξιόπιστη μετατροπή αξιοποιώντας καθιερωμένες βιβλιοθήκες για κάθε βήμα μετασχηματισμού. Μετατρέψτε δεδομένα TOON αποδοτικά σε token σε τυπική σήμανση XML για συστήματα που απαιτούν είσοδο XML, ή μετασχηματίστε δεδομένα XML σε συμπαγή μορφή TOON για να μειώσετε τη χρήση token σε εφαρμογές LLM.

Παραδείγματα

Μετατροπή TOON σε XML:

Είσοδος (TOON):

users[2]{id,name,role}:
  1,Alice,admin
  2,Bob,user

Έξοδος (XML):

<?xml version="1.0" encoding="UTF-8"?>
<root>
  <users>
    <id>1</id>
    <name>Alice</name>
    <role>admin</role>
  </users>
  <users>
    <id>2</id>
    <name>Bob</name>
    <role>user</role>
  </users>
</root>

Μετατροπή XML σε TOON:

Είσοδος (XML):

<?xml version="1.0" encoding="UTF-8"?>
<order>
  <id>ORD-456</id>
  <customer>John Doe</customer>
  <total>99.99</total>
</order>

Έξοδος (TOON):

order:
  id: ORD-456
  customer: John Doe
  total: 99.99

Χαρακτηριστικά

  • Αμφίδρομη μετατροπή μεταξύ TOON και XML με πλήρη διατήρηση δεδομένων
  • Ενδιάμεση μορφή JSON διασφαλίζει αξιόπιστη μετατροπή χρησιμοποιώντας αποδεδειγμένες βιβλιοθήκες
  • Χειρισμός σύνθετων δομών συμπεριλαμβανομένων ένθετων στοιχείων, χαρακτηριστικών και πινάκων
  • Αυτόματη ανίχνευση μορφής και βέλτιστη στρατηγική μετατροπής
  • Διατήρηση ιεραρχίας δεδομένων διατηρώντας σχέσεις γονέα-παιδιού
  • Μετατροπή ευαίσθητη στον τύπο διατηρώντας αριθμούς, boolean και συμβολοσειρές
  • Μετατροπή σε πραγματικό χρόνο με άμεσα αποτελέσματα
  • Επισήμανση σύνταξης για μορφές TOON και XML

Περιπτώσεις χρήσης

  1. Ολοκλήρωση συστημάτων κληροδοτήματος - Μετατρέψτε σύγχρονα δεδομένα TOON σε μορφή XML για συμβατότητα με παλαιότερα εταιρικά συστήματα που απαιτούν είσοδο XML
  2. Μετασχηματισμός δεδομένων API - Μετασχηματίστε απαντήσεις XML API σε μορφή TOON αποδοτική σε token πριν τις στείλετε σε LLMs για επεξεργασία και ανάλυση
  3. Μετατροπή αρχείων διαμόρφωσης - Μετατρέψτε αρχεία διαμόρφωσης XML σε μορφή TOON για να μειώσετε τη χρήση token κατά τη χρήση LLMs για διαχείριση υποδομής
  4. Επεξεργασία εγγράφων - Μετασχηματίστε έγγραφα XML (τροφοδοσίες RSS, απαντήσεις SOAP, έγγραφα Office) σε TOON για αποδοτική ανάλυση βασισμένη σε LLM
  5. Μετανάστευση δεδομένων - Μετατρέψτε δεδομένα μεταξύ συστημάτων που χρησιμοποιούν διαφορετικές μορφές, με το TOON να χρησιμεύει ως αποδοτική ενδιάμεση αναπαράσταση token

Διαδικασία μετατροπής

TOON σε XML:

  1. Ανάλυση μορφής TOON σε αντικείμενο JavaScript (χρησιμοποιώντας αποκωδικοποίηση @toon-format/toon)
  2. Μετατροπή αντικειμένου JavaScript σε σήμανση XML (χρησιμοποιώντας κατασκευαστή xml2js)
  3. Έξοδος μορφοποιημένου XML με σωστή εσοχή

XML σε TOON:

  1. Ανάλυση σήμανσης XML σε αντικείμενο JavaScript (χρησιμοποιώντας αναλυτή xml2js)
  2. Μετατροπή αντικειμένου JavaScript σε μορφή TOON (χρησιμοποιώντας κωδικοποίηση @toon-format/toon)
  3. Έξοδος συμπαγούς αναπαράστασης TOON

Σημειώσεις δομής XML

Κατά τη μετατροπή από TOON σε XML:

  • Τα κλειδιά αντικειμένου ρίζας γίνονται στοιχεία XML
  • Οι πίνακες δημιουργούν πολλαπλά στοιχεία με το ίδιο όνομα ετικέτας
  • Οι ταβλικοί πίνακες TOON επεκτείνονται σε μεμονωμένα στοιχεία XML
  • Οι ιδιότητες αντικειμένου γίνονται θυγατρικά στοιχεία
  • Οι τιμές μετατρέπονται σε περιεχόμενο κειμένου

Κατά τη μετατροπή από XML σε TOON:

  • Τα στοιχεία XML γίνονται κλειδιά αντικειμένου
  • Τα επαναλαμβανόμενα στοιχεία γίνονται πίνακες
  • Τα χαρακτηριστικά συγχωνεύονται με το περιεχόμενο στοιχείου
  • Το περιεχόμενο κειμένου γίνεται τιμές συμβολοσειράς
  • Τα κενά στοιχεία γίνονται κενές συμβολοσειρές ή null

Θεωρήσεις μορφής

Περιγραφικότητα XML:

  • Το XML είναι εγγενώς περιγραφικό με ετικέτες ανοίγματος/κλεισίματος
  • Κάθε στοιχείο απαιτεί ετικέτες έναρξης και λήξης
  • Τα χαρακτηριστικά προσθέτουν πρόσθετους χαρακτήρες
  • Κατάλληλο για σήμανση εγγράφων και επικύρωση

Αποδοτικότητα TOON:

  • Σημαντικά πιο συμπαγές για δομημένα δεδομένα
  • Ιδανικό για ταβλικά δεδομένα με επαναλαμβανόμενες δομές
  • Μειώνει τη χρήση token κατά 30-60% έναντι JSON
  • Βελτιστοποιημένο για κατανάλωση LLM

Αντικατάσταση:

  • Το XML υποστηρίζει χαρακτηριστικά και μικτό περιεχόμενο (κείμενο + στοιχεία)
  • Το TOON διαπρέπει σε ομοιόμορφες δομές δεδομένων
  • Το XML έχει ισχυρότερες δυνατότητες επικύρωσης
  • Το TOON έχει καλύτερη αποδοτικότητα token για LLMs

Ποιότητα μετατροπής

Η ενδιάμεση μορφή JSON διασφαλίζει:

  • Ακεραιότητα δεδομένων - χωρίς απώλεια δεδομένων κατά τη μετατροπή
  • Διατήρηση τύπου - αριθμοί, boolean και null τιμές διατηρούνται
  • Συνέπεια δομής - ένθετες σχέσεις διατηρούνται
  • Αξιόπιστος μετασχηματισμός - χρησιμοποιώντας δοκιμασμένες βιβλιοθήκες (xml2js και @toon-format/toon)
  • Χειρισμός σφαλμάτων - σαφή μηνύματα σφάλματος για μη έγκυρη είσοδο