Jak działa identyfikacja języka?

Każdy język pozostawia w piśmie charakterystyczne wskazówki. Już sam alfabet pozwala szybko zawęzić możliwości, ponieważ cyrylica, alfabet grecki czy arabski od razu wykluczają większość języków. Potem przychodzą kolej na litery takie jak ñ w hiszpańskim czy ß w niemieckim oraz krótkie słowa, które często się pojawiają, takie jak „the”, „le” czy „und”.

Najtrudniej odróżnić języki blisko ze sobą spokrewnione. Hiszpański i portugalski czy duński i norweski mają tak wiele wspólnych słów, że krótka wypowiedź może zmylić prosty detektor. Model AI potrafi też uwzględniać gramatykę i słownictwo oraz rozdzielać tekst zawierający kilka języków.

Opis narzędzia

Wklej do pola tekstowego maksymalnie 5 000 znaków i kliknij „Identyfikuj języki”. Tabela zawiera wszystkie wykryte języki, od tego, którego jest najwięcej, do tego, którego jest najmniej, oraz następujące kolumny:

  • Język — nazwa języka
  • Nazwa własna — nazwa języka w tym języku, np. Deutsch lub 日本語
  • Kod ISO — kod ISO 639-1 lub ISO 639-3 w przypadku języków, które nie mają dwuliterowego kodu
  • Udział — przybliżony procent tekstu w danym języku
  • Przykład — krótki fragment skopiowany z tekstu

Uzasadnienie wyjaśnia, które słowa, pisownia, gramatyka lub alfabet wskazały dany język, i zaznacza, w których przypadkach AI nie ma pewności. Nazwy, liczby, URL-e i pojedyncze zapożyczone słowa są pomijane, chyba że stanowią cały tekst.

Przykład

W przypadku tekstu „Bonjour à tous! I just moved to Montreal y todavía estoy aprendiendo francés.” można oczekiwać wyniku wskazującego angielski i hiszpański, po około 40% każdy, oraz francuski — około 20%. Przykładami mogą być fragmenty takie jak „Bonjour à tous!”.

Funkcje

  • Wykrywa wszystkie języki w tekście mieszanym i określa ich udział
  • Podaje kody ISO i nazwy własne każdego języka
  • Krótko wyjaśnia, jak rozpoznano każdy język

Ograniczenia

Jedno lub dwa słowa często nie wystarczą, by odróżnić spokrewnione języki, a podane udziały są szacunkowe. Odpowiedzi AI mogą być błędne, dlatego warto sprawdzać wyniki, które mają znaczenie.