Hur fungerar språkidentifiering?

Varje språk lämnar ledtrådar i skrift. Skriftsystemet gör det snabbt lättare att ringa in språket, eftersom kyrilliska, grekiska eller arabiska bokstäver direkt utesluter de flesta språk. Därefter kommer bokstäver som ñ i spanska eller ß i tyska, och småord som förekommer överallt, till exempel ”the”, ”le” eller ”und”.

Närbesläktade språk är den svåra delen. Spanska och portugisiska, eller danska och norska, har så många ord gemensamt att en kort mening kan lura en enkel språkdetektor. En AI-modell kan också väga in grammatik och ordförråd samt dela upp en text som blandar flera språk.

Verktygsbeskrivning

Klistra in upp till 5 000 tecken i Text och klicka på Identifiera språk. Tabellen listar alla språk som hittats, från störst till minst andel, med följande kolumner:

  • Språk, språkets namn
  • Eget namn, språkets namn på själva språket, till exempel Deutsch eller 日本語
  • ISO-kod, ISO 639-1-koden eller ISO 639-3 för språk som saknar en tvåbokstavskod
  • Andel, en ungefärlig procentandel av texten på det språket
  • Exempel, ett kort utdrag kopierat från din text

Motiveringen förklarar vilka ord, stavningar, grammatik eller skriftsystem som avslöjade varje språk och anger när AI:n är osäker. Namn, siffror, URL:er och enstaka låneord ignoreras, såvida de inte utgör hela texten.

Exempel

För ”Bonjour à tous! I just moved to Montreal y todavía estoy aprendiendo francés.” kan du förvänta dig ungefär 40 % engelska och spanska vardera och cirka 20 % franska, med exempel som ”Bonjour à tous!”.

Funktioner

  • Hittar alla språk i en blandad text och visar deras andel
  • ISO-koder och egna namn för varje språk
  • En kort förklaring av hur varje språk identifierades

Begränsningar

Ett eller två ord räcker ofta inte för att skilja närbesläktade språk åt, och andelarna är uppskattningar. AI-svar kan vara fel, så kontrollera resultat som är viktiga.