言語の識別はどのように行われますか？

どの言語にも、文章の中に手がかりが残ります。文字体系を見るとすぐに候補を絞り込めます。キリル文字、ギリシャ文字、アラビア文字は、それぞれ多くの言語を一度に除外できるからです。その後は、スペイン語の ñ やドイツ語の ß のような文字や、「the」「le」「und」のように頻繁に使われる短い単語が手がかりになります。

よく似た言語の識別が難しい点です。スペイン語とポルトガル語、デンマーク語とノルウェー語のように、共通する単語が多い言語では、短い文章だと単純な判定器が間違えることがあります。AIモデルは文法や語彙も考慮でき、複数の言語が混在する文章を分割することもできます。

ツールの説明

「テキスト」に最大5,000文字を貼り付けて、「言語を識別」をクリックします。表には、最も多くを占める言語から順に、見つかったすべての言語が次の列とともに表示されます。

  • 言語：言語の名称
  • 母語名：Deutsch や 日本語 のように、その言語での名称
  • ISOコード：ISO 639-1コード、または2文字のコードがない言語の場合はISO 639-3
  • 割合：その言語で書かれたテキストのおおよその割合
  • サンプル：テキストから抜き出した短い一節

判定理由には、各言語を特定する手がかりとなった単語、スペル、文法、文字体系が説明され、AIが確信を持てない箇所も記載されます。名前、数字、URL、単独の借用語は、テキストのすべてを占める場合を除き、判定の対象になりません。

例

「Bonjour à tous! I just moved to Montreal y todavía estoy aprendiendo francés.」の場合、英語とスペイン語がそれぞれ約40%、フランス語が約20%といった結果が予想されます。「Bonjour à tous!」のようなサンプルも表示されます。

特徴

  • 混在するテキストからすべての言語を検出し、それぞれの割合を表示
  • 各言語のISOコードと母語名を表示
  • 各言語がどのように識別されたかを簡潔に説明

制限事項

関連する言語を見分けるには、単語が1、2個だけでは不十分なことがよくあり、割合も推定値です。AIの回答が誤っている場合もあるため、重要な結果は確認してください。