Come funziona l’identificazione delle lingue?

Ogni lingua lascia indizi nella scrittura. Il sistema di scrittura permette di restringere rapidamente il campo, perché il cirillico, il greco o l’arabo escludono subito la maggior parte delle lingue. Poi entrano in gioco lettere come la ñ in spagnolo o la ß in tedesco, e parole brevi che compaiono ovunque, come «the», «le» o «und».

Le lingue strettamente imparentate sono le più difficili da distinguere. Lo spagnolo e il portoghese, o il danese e il norvegese, condividono così tante parole che una frase breve può ingannare un rilevatore semplice. Un modello di IA può anche analizzare la grammatica e il vocabolario e suddividere un testo che combina più lingue.

Descrizione dello strumento

Incolla fino a 5.000 caratteri nel campo Testo e fai clic su Identifica lingue. La tabella elenca tutte le lingue rilevate, dalla più presente alla meno presente, con queste colonne:

  • Lingua, il nome della lingua
  • Nome nativo, il nome nella lingua stessa, ad esempio Deutsch o 日本語
  • Codice ISO, il codice ISO 639-1 oppure, per le lingue senza un codice di due lettere, il codice ISO 639-3
  • Percentuale, una stima della percentuale di testo in quella lingua
  • Esempio, un breve estratto copiato dal testo

La motivazione spiega quali parole, elementi ortografici, grammaticali o del sistema di scrittura hanno permesso di riconoscere ogni lingua e segnala i casi in cui l’IA non è sicura. I nomi, i numeri, gli URL e le singole parole prese in prestito vengono ignorati, a meno che non costituiscano l’intero testo.

Esempio

Per «Bonjour à tous! I just moved to Montreal y todavía estoy aprendiendo francés.», ci si aspetterebbe qualcosa come inglese e spagnolo, ciascuno intorno al 40%, e francese intorno al 20%, con esempi come «Bonjour à tous!».

Funzionalità

  • Rileva tutte le lingue presenti in un testo misto e la relativa percentuale
  • Codici ISO e nomi nativi per ogni lingua
  • Una breve spiegazione di come è stata riconosciuta ogni lingua

Limitazioni

Una o due parole spesso non bastano per distinguere lingue imparentate e le percentuali sono stime. Le risposte dell’IA possono essere errate, quindi verifica i risultati importanti.