كيف يعمل التعرّف على اللغة؟

تترك كل لغة دلائل في الكتابة. ويساعد نظام الكتابة على تضييق الاحتمالات بسرعة، إذ يستبعد استخدام الأبجدية السيريلية أو اليونانية أو العربية معظم اللغات فورًا. بعد ذلك، تأتي حروف مثل ñ في الإسبانية أو ß في الألمانية، وكلمات قصيرة تتكرر في كل مكان، مثل "the" و"le" و"und".

اللغات المتقاربة هي الأصعب تمييزًا. فالإسبانية والبرتغالية، أو الدنماركية والنرويجية، تتشاركان كلمات كثيرة لدرجة أن جملة قصيرة قد تخدع أداة تعرّف بسيطة. ويمكن لنموذج ذكاء اصطناعي أن يوازن أيضًا بين القواعد والمفردات، وأن يقسّم النص الذي يمزج بين لغات عدة.

وصف الأداة

الصق ما يصل إلى 5,000 حرف في حقل النص، ثم انقر على «تحديد اللغات». يعرض الجدول كل اللغات التي عُثر عليها، مرتبة من الأكبر حصةً إلى الأصغر، ويضم الأعمدة التالية:

  • اللغة، اسم اللغة
  • الاسم الأصلي، اسم اللغة بلغتها نفسها، مثل Deutsch أو 日本語
  • رمز ISO، رمز ISO 639-1، أو ISO 639-3 للغات التي لا تملك رمزًا من حرفين
  • النسبة، تقدير تقريبي لنسبة النص المكتوب بتلك اللغة
  • عيّنة، مقتطف قصير منسوخ من نصك

يوضح التفسير الكلمات أو الإملاء أو القواعد أو نظام الكتابة التي كشفت عن كل لغة، ويشير إلى المواضع التي لا يكون فيها الذكاء الاصطناعي متأكدًا. ويتم تجاهل الأسماء والأرقام وعناوين URL والكلمات الدخيلة المفردة، إلا إذا كان النص كله يتألف منها.

مثال

في النص «Bonjour à tous! I just moved to Montreal y todavía estoy aprendiendo francés.»، يُتوقع ظهور الإنجليزية والإسبانية بنسبة تقارب 40% لكل منهما، والفرنسية بنسبة تقارب 20%، مع عيّنات مثل «Bonjour à tous!».

الميزات

  • العثور على جميع اللغات في النصوص متعددة اللغات، مع بيان نسبة كل منها
  • رموز ISO والأسماء الأصلية لكل لغة
  • شرح موجز لكيفية التعرّف على كل لغة

القيود

غالبًا لا تكفي كلمة أو كلمتان للتمييز بين اللغات المتقاربة، كما أن النسب تقديرية. وقد تكون إجابات الذكاء الاصطناعي خاطئة، لذا تحقّق من النتائج المهمة.