Como funciona a identificação de idiomas?

Cada idioma deixa pistas na escrita. O sistema de escrita ajuda a restringir as possibilidades rapidamente, pois o cirílico, o grego ou o árabe descartam de imediato a maioria dos idiomas. Em seguida, vêm letras como ñ no espanhol ou ß no alemão e palavras curtas que aparecem por toda parte, como "the", "le" ou "und".

Idiomas muito parecidos são a parte mais difícil. O espanhol e o português, ou o dinamarquês e o norueguês, compartilham tantas palavras que uma frase curta pode confundir um detector simples. Um modelo de IA também pode levar em conta a gramática e o vocabulário, além de separar um texto que mistura vários idiomas.

Descrição da ferramenta

Cole até 5.000 caracteres em Texto e clique em Identificar idiomas. A tabela lista todos os idiomas encontrados, do maior percentual ao menor, com estas colunas:

  • Idioma, o nome do idioma
  • Nome nativo, o nome no próprio idioma, como Deutsch ou 日本語
  • Código ISO, o código ISO 639-1 ou ISO 639-3 para idiomas sem código de duas letras
  • Percentual, uma estimativa da proporção do texto nesse idioma
  • Amostra, um breve trecho copiado do seu texto

A justificativa explica quais palavras, grafia, gramática ou sistema de escrita permitiram identificar cada idioma e indica quando há incerteza por parte da IA. Nomes, números, URLs e palavras isoladas emprestadas de outros idiomas são ignorados, a menos que sejam todo o conteúdo do texto.

Exemplo

Para "Bonjour à tous! Acabei de me mudar para Montreal y todavía estoy aprendiendo francés.", o resultado esperado seria algo como português e espanhol com cerca de 40% cada, e francês com cerca de 20%, com amostras como "Bonjour à tous!".

Recursos

  • Encontra todos os idiomas em um texto misto e indica sua proporção
  • Códigos ISO e nomes nativos de cada idioma
  • Uma breve explicação de como cada idioma foi reconhecido

Limitações

Uma ou duas palavras muitas vezes não são suficientes para distinguir idiomas parecidos, e os percentuais são estimativas. As respostas da IA podem estar erradas, portanto, confira os resultados importantes.