السؤال
بدأنا بسؤال واحد: هل يحتاج تصحيح نص عربي إلى نموذج عملاق؟ أفضل نتيجة منشورة جاءت من تجميع تسعة نماذج معاً. أردنا أن نعرف كم يمكن أن يفعل نموذج واحد صغير يعمل على جهاز عادي.
اخترنا AraT5 أساساً: نموذج مشفّر ومفكّك من ٣٦٧ مليون معامل. ودرّبناه على بطاقة رسومية واحدة بذاكرة ٦ غيغابايت.
البيانات
لا يوجد ما يكفي من النصوص العربية المصحّحة يدوياً. فبنينا بياناتنا من ثلاثة مصادر، كل واحد يعلّم النموذج شيئاً مختلفاً.
أخطاء مُركَّبة
٤٥٠ ألف فقرة من ويكيبيديا أدخلنا فيها أخطاء إملائية ونحوية وحذفنا ترقيمها آلياً. تعلّم النموذج الأساسيات.
أخطاء حقيقية
تعليقات قرّاء من مجموعة QALB، صحّحها مدقّقون بشر. تعلّم النموذج كيف يخطئ الناس فعلاً.
أخطاء بطلب
نحو ٦٧ ألف مثال كتبها نموذج لغوي كبير بأنواع محدّدة من الخطأ: نحو، اختيار كلمات، وأربع عشرة لهجة.
وحين حلّلنا تصحيحات QALB وجدنا أن ثلثها ترقيم وثلثها همزات وهجاء. الخطأ النحوي الحقيقي أقل من ربعها، لكنه الأصعب.
٣٥٪
ترقيم
٣٤٪
همزات وهجاء
٢٢٪
نحو واختيار كلمات
التسريب
أول قياس على معيار QALB الرسمي أعطانا ٨٠٫٣٥. رقم يضعنا بجوار أفضل ما نُشر. وكان أجمل من أن يُصدَّق.
فتحقّقنا. وجدنا أن النسخة الشائعة من البيانات على الإنترنت أُعيد تقسيمها عشوائياً، فدخلت جمل الاختبار الرسمي في قسم التدريب. ٨٣٪ من نصوص التطوير والاختبار كانت داخل ما درّبنا عليه. النموذج لم يكن يصحّح، كان يتذكّر.
لم نجد ورقة منشورة تذكر هذا التسريب. كل من درّب على تلك النسخة وقاس على QALB الرسمي حصل على رقم مضخَّم.
رمينا الرقم. حذفنا من كل مصادر التدريب أي مثال يشترك مع الاختبارات الرسمية في ست كلمات متتالية، وبدأنا من جديد.
التدريب من الصفر
عدنا إلى AraT5 الأصلي، قبل أن يرى أي بيانات لنا، ودرّبناه خمس ساعات. الأربع الأولى على خليط واسع من المصادر، والساعة الأخيرة بمعدّل تعلّم منخفض وتركيز على النصوص الحقيقية.
نسبة الخطأ في الكلمات
نزلت نسبة الخطأ على مجموعة التطوير من ٣٤٫١ في النص الأصلي إلى ١٥٫٨. والأهم: النموذج الجديد ترك الفقرات السليمة كما هي.
٥ س
تدريب على بطاقة واحدة
٢٢٬٨١٧
خطوة تدريب
١٥٫٨
نسبة الخطأ النهائية
تصغيره
سألنا بعدها: كم من النموذج نحتاج فعلاً؟ أول اكتشاف أن نحو ثلثي مفرداته نادراً ما تُستعمل. حذفها أنزله من ٣٦٧ إلى ٢٥٧ مليون معامل بخسارة ٠٫٣ نقطة فقط.
ثم حذفنا طبقات، وعلّمنا النماذج الأصغر أن تقلّد النموذج الكبير. النتيجة ثلاثة نماذج، أصغرها يتقدّم على نموذج مفتوح من مليار معامل.
نسبة الخطأ في الكلمات على ٧٨ فقرة اختبار؛ الأقل أفضل.
ما لم ينجح
ليست كل فكرة نجحت. ننشر الفاشل منها لأن معرفته توفّر على غيرنا الطريق.
القواعد وحدها
جرّبنا أن يكشف محلّل صرفي الأخطاء بقواعد ثابتة. التقط ٤٨٪ من الأخطاء، لكنه أشار خطأً إلى ٥٣٪ من الكلمات السليمة. تخلّينا عن الفكرة.
أخطاء التطابق
النموذج الكامل يصحّح ٢٠٪ فقط من أخطاء التطابق في تجربتنا. نموذج صغير يحدّد التغيير الصرفي ثم يولّد الكلمة آلياً بلغ ٤٨٪. أفضل، لكنه بعيد عن السقف النظري البالغ ٨٦٪.
ما نختبره الآن
تجربتنا الحالية: مشفّر يعيد استخدام طبقاته بدل أن يحمل اثنتي عشرة طبقة مختلفة. أربع طبقات فريدة فقط، تُمرَّر عليها الجملة مراراً.
٣٩٪
من معاملات المشفّر
٧٫٦ مقابل ٧٫١
نسبة الخطأ على عيّنة QALB
٢٠٫٦ مقابل ١٥٫٨
نسبة الخطأ على اختبارنا
على نصوص QALB يكاد يساوي النموذج الكامل. وعلى اختبارنا، حيث العامية والنحو، ما زال متأخراً بوضوح. هذا ما نعمل عليه.
ما تعلّمناه
تحقّق من بياناتك قبل نموذجك
أكبر قفزة في رقمنا كانت وهماً. وأهم يوم في المشروع هو اليوم الذي اكتشفنا فيه ذلك.
كثير من الحجم لا يعمل
حذفنا ١١٠ ملايين معامل من النموذج وخسرنا ٠٫٣ نقطة فقط. ما يهم هو ما تدرّب عليه النموذج، لا عدد معاملاته.
قِس ما تفسده
مدقّق يصحّح عشرة أخطاء ويفسد جملة سليمة لن يثق به أحد.