Как работает определение языка?

Каждый язык оставляет в письменной речи свои подсказки. Письменность быстро сужает круг вариантов: кириллица, греческий алфавит или арабское письмо сразу исключают большинство языков. Затем можно обратить внимание на такие буквы, как ñ в испанском или ß в немецком, а также на короткие слова, которые часто встречаются в текстах, например «the», «le» или «und».

Сложнее всего различать близкородственные языки. В испанском и португальском или датском и норвежском так много общих слов, что короткое предложение может сбить с толку простой алгоритм. Модель ИИ также может учитывать грамматику и словарный запас, а ещё разделять текст, в котором смешаны несколько языков.

Описание инструмента

Вставьте до 5 000 символов в поле «Текст» и нажмите «Определить языки». В таблице перечислены все обнаруженные языки — от наиболее распространённого до наименее распространённого. В ней есть следующие столбцы:

  • Язык — название языка
  • Название на родном языке — как язык называется на нём самом, например Deutsch или 日本語
  • Код ISO — код ISO 639-1 или ISO 639-3 для языков, у которых нет двухбуквенного кода
  • Доля — примерная доля текста на этом языке в процентах
  • Пример — короткий фрагмент из вашего текста

В разделе «Обоснование» объясняется, какие слова, особенности написания, грамматика или письменность помогли определить каждый язык, а также отмечается, если ИИ не уверен. Имена, числа, URL и отдельные заимствованные слова не учитываются, если только они не составляют весь текст.

Пример

Для фразы «Bonjour à tous! I just moved to Montreal y todavía estoy aprendiendo francés.» можно ожидать примерно 40% английского и испанского и около 20% французского, с примерами вроде «Bonjour à tous!».

Возможности

  • Определяет все языки в смешанном тексте и указывает их долю
  • Показывает коды ISO и названия на родном языке для каждого языка
  • Кратко объясняет, как был распознан каждый язык

Ограничения

Одного-двух слов часто недостаточно, чтобы различить близкородственные языки, а доли являются приблизительными. Ответы ИИ могут быть неверными, поэтому проверяйте важные результаты.