Hvordan fungerer språkidentifikasjon?

Hvert språk setter spor i skrift. Skriftsystemet gjør det raskt å snevre inn mulighetene, siden kyrillisk, gresk eller arabisk hver for seg utelukker de fleste språk med én gang. Deretter kommer bokstaver som ñ på spansk eller ß på tysk, og småord som dukker opp overalt, for eksempel «the», «le» eller «und».

Nært beslektede språk er den vanskelige delen. Spansk og portugisisk, eller dansk og norsk, deler så mange ord at en kort setning kan lure en enkel detektor. En KI-modell kan også vurdere grammatikk og ordforråd, og dele opp en tekst som blander flere språk.

Verktøybeskrivelse

Lim inn opptil 5 000 tegn i tekstfeltet, og klikk på Identifiser språk. Tabellen viser alle språkene som ble funnet, fra størst til minst andel, med disse kolonnene:

  • Språk, navnet på språket
  • Eget navn, navnet på språket på språket selv, for eksempel Deutsch eller 日本語
  • ISO-kode, ISO 639-1-koden, eller ISO 639-3 for språk uten en kode på to bokstaver
  • Andel, et omtrentlig prosentanslag for hvor mye av teksten som er på det aktuelle språket
  • Eksempel, et kort utdrag kopiert fra teksten din

Begrunnelse forklarer hvilke ord, stavemåter, grammatikk eller hvilket skriftsystem som avslørte hvert språk, og påpeker når KI-en er usikker. Navn, tall, URL-er og enkeltstående låneord ignoreres, med mindre det er alt teksten inneholder.

Eksempel

For «Bonjour à tous! I just moved to Montreal y todavía estoy aprendiendo francés.» kan du forvente noe slikt som engelsk og spansk med omtrent 40 % hver og fransk med omtrent 20 %, med eksempler som «Bonjour à tous!».

Funksjoner

  • Finner alle språkene i en blandet tekst, med tilhørende andel
  • ISO-koder og egne navn for hvert språk
  • En kort forklaring på hvordan hvert språk ble gjenkjent

Begrensninger

Et ord eller to er ofte ikke nok til å skille mellom beslektede språk, og andelene er anslag. KI-svar kan være feil, så kontroller resultater som er viktige.