Miten kielen tunnistus toimii?

Jokaisesta kielestä jää kirjoitukseen vihjeitä. Kirjoitusjärjestelmä rajaa vaihtoehtoja nopeasti, sillä kyrilliset, kreikkalaiset tai arabialaiset aakkoset sulkevat kerralla pois useimmat kielet. Seuraavaksi tulevat esimerkiksi espanjan ñ ja saksan ß sekä yleiset pienet sanat, kuten ”the”, ”le” tai ”und”.

Läheisten sukukielten erottaminen on vaikeinta. Espanjassa ja portugalissa tai tanskassa ja norjassa on niin paljon yhteisiä sanoja, että lyhyt lause voi hämätä yksinkertaista tunnistinta. Tekoälymalli voi ottaa huomioon myös kieliopin ja sanaston sekä erotella tekstistä useita kieliä.

Työkalun kuvaus

Liitä enintään 5 000 merkkiä Teksti-kenttään ja napsauta Tunnista kielet. Taulukossa luetellaan kaikki tunnistetut kielet osuuden mukaan suurimmasta pienimpään. Taulukossa on seuraavat sarakkeet:

  • Kieli, kielen nimi
  • Nimi omalla kielellä, kielen nimi kyseisellä kielellä, kuten Deutsch tai 日本語
  • ISO-koodi, ISO 639-1 -koodi tai ISO 639-3 -koodi kielille, joilla ei ole kaksikirjaimista koodia
  • Osuus, arvio siitä, kuinka suuri osa tekstistä on kyseisellä kielellä
  • Näyte, lyhyt tekstikatkelma tekstistäsi

Perusteluissa kerrotaan, mitkä sanat, oikeinkirjoitus, kielioppi tai kirjoitusjärjestelmä paljastivat kunkin kielen, ja mainitaan kohdat, joista tekoäly ei ole varma. Nimet, numerot, URL-osoitteet ja yksittäiset lainasanat jätetään huomiotta, ellei teksti koostu pelkästään niistä.

Esimerkki

Tekstistä ”Bonjour à tous! Muutin juuri Montréaliin. y todavía estoy aprendiendo francés.” voisi odottaa esimerkiksi suomea ja espanjaa kumpaakin noin 40 % ja ranskaa noin 20 %. Näytteinä voisi olla esimerkiksi ”Bonjour à tous!”.

Ominaisuudet

  • Tunnistaa kaikki sekatekstissä esiintyvät kielet ja niiden osuudet
  • Kunkin kielen ISO-koodit ja omakieliset nimet
  • Lyhyt selitys siitä, miten kukin kieli tunnistettiin

Rajoitukset

Yksi tai kaksi sanaa ei usein riitä läheisten sukukielten erottamiseen, ja osuudet ovat arvioita. Tekoälyn vastaukset voivat olla vääriä, joten tarkista tärkeät tulokset.