تقييم النماذج اللغوية للأنظمة التي يجب أن تكون صحيحة
استمع إلى المقال
جارٍ تجهيز الصوت…
AI Engineering
لا أتعامل مع تقييم النموذج اللغوي الكبير كترتيب على لوحة نتائج، بل كحجة مضبوطة الإصدارات ومدعومة بالأدلة حول الأخطاء التي يستطيع نظام محدد تحملها قبل الإطلاق.
ابدأ بقرار واضح لا بمؤشر عام
السؤال «هل النموذج ب أفضل؟» لا يصلح أساساً للتقييم. يجب تحديد المهمة والمستخدمين وعاقبة الخطأ وإعدادات التشغيل والقرار المطلوب. في مساعد لخدمة العملاء، قد يصبح السؤال: هل يستطيع الإصدار 7 أن يحل محل الإصدار 6 في أسئلة الاسترداد بالعربية والإنجليزية من دون زيادة الادعاءات غير المسندة أو تجاوز ميزانية التكلفة عند المئين 95؟
هذه الصياغة مهمة لأن جودة النماذج متعددة الأبعاد. يقيس إطار HELM البحثي سيناريوهات ومؤشرات تشمل الدقة والمعايرة والمتانة والإنصاف والتحيز والسمّية والكفاءة، بدلاً من اختزال الجودة في رقم واحد. أما النظام الإنتاجي فيضيف الموجّه النظامي، ومصادر الاسترجاع، والأدوات، ومعاملات التوليد، وسياسات السلامة، والمعالجة اللاحقة. تغيير أي عنصر يعني أن موضوع التقييم نفسه قد تغير.
أنشئ ملف إصدار يحمل معرفات ثابتة للنموذج والموجّه والأدوات ونسخة بيانات الاسترجاع ونسخة الشفرة ومجموعة الاختبار وقواعد التقييم والمقيّم. النتيجة التي لا ترتبط بهذه الإعدادات لا يمكن إعادة إنتاجها أو مساءلتها.
ابنِ محفظة حالات حسب المخاطر
أبدأ بتصنيف المهام، ثم أوزع الحالات بحسب التكرار وشدة العاقبة. وتشمل المحفظة التي أعرضها على مراجعة الإصدار حالات واقعية منزوعة الهوية ومستخدمة بموافقة مناسبة، وحالات حدودية تتداخل فيها التواريخ والعملات والصلاحيات، ومحاولات حقن الموجّه، وإخفاقات سابقة، وأزواجاً تتغير فيها حقيقة واحدة، وحالات يكون فيها الامتناع أو التصعيد هو الجواب الصحيح.
احمِ مجموعة اختبار نهائية من الضبط المتكرر. إذا رأى المطورون كل الحالات أثناء تحسين الموجّه، فسيتعلم النظام الاختبار لا المهمة. سجل مصدر كل حالة وترخيصها، وميّز الحالات الاصطناعية بوضوح، ولا تنقل الأسرار أو البيانات الشخصية إلى الاختبارات. عند وجود عشوائية في التوليد أو الأدوات، نفّذ تجارب متكررة وانشر التشتت وعدد المحاولات لا المتوسط فقط.
قسّم النتائج بحسب مستوى الخطر واللغة ومسار الأداة وحداثة المصدر. قد تخفي نسبة نجاح إجمالية قدرها 94% نتيجة قدرها 60% في أسئلة عربية حساسة. ويجب إظهار عدم اليقين، خصوصاً في الشرائح الصغيرة؛ عدم ظهور خطأ في عشر حالات لا يثبت انعدام الخطر.
استخدم طبقات تقييم متكاملة
تتحقق الاختبارات الحتمية مما يمكن للشفرة إثباته: بنية JSON، وجود الاستشهادات، صلاحية معاملات الأدوات، الحسابات، الأفعال المحظورة، الزمن، والتكلفة. ويمكن للمقاييس المرجعية مقارنة المخرجات المنظمة أو نتائج الاسترجاع. أما المقيّم القائم على نموذج فيستطيع تقدير الملاءمة أو الاستناد إلى الأدلة على نطاق واسع، لكنه يحمل تحيزاً وتقلباً ونقاط عمى خاصة به. وتبقى الخبرة البشرية ضرورية للحالات الغامضة أو الجديدة أو عالية الأثر.
عاير المقيّم الآلي مقابل أمثلة وسمها خبراء بصورة مستقلة، وانشر نسبة الاتفاق وحالات القبول الخاطئ والرفض الخاطئ والمنطقة الغامضة لكل شريحة. لا تجعل عائلة النموذج نفسها تحكم بصمت على أسلوبها المفضل. تركز دراسة NIST لتقييم التقارير المولدة آلياً على الاكتمال والدقة وقابلية التحقق وربط الادعاء بالمصدر، وهي تذكير بأن سلاسة النص ليست مقياساً للحقيقة.
حوّل اختلاف المقيّمين والحالات الحساسة إلى مراجعة بشرية. وقِس اتفاق المراجعين؛ فإذا فسّر المختصون قواعد التقييم بطرق مختلفة، فالمشكلة في القواعد أيضاً. عبارة «راجعه إنسان» لا تصف منهجاً ما لم تحدد دور المراجع والعينة والقواعد وآلية حسم الخلاف.
حوّل النتائج إلى سياسة إصدار
أضع الحدود قبل رؤية نتيجة المرشح حتى لا يعاد تعريف النجاح لخدمة الإصدار المفضل. وهكذا سأصمم بوابة عملية: صفراً من استدعاءات الأدوات غير المصرح بها، وعدم وجود تراجع موثوق في الشرائح عالية الخطر، وحداً أقصى للقبول الخاطئ لدى المقيّم، وميزانية زمن وتكلفة بمئين محدد، وقبولاً صريحاً للمخاطر المتبقية من المالك المسؤول.
لنفترض أن مساعد تحصيل اصطناعي رفع اكتمال الإجابة من 86% إلى 92%، لكنه رفع ادعاءات الرسوم غير المسندة من 0.5% إلى 1.4%. المتوسط تحسن، لكن المنتج أصبح أخطر. قد يكون القرار الصحيح إطلاقاً محدوداً، أو مرجع سياسة حتمياً، أو مراجعة إلزامية، لا مجرد تعديل آخر للموجّه.
في بعض المؤسسات المالية المنظمة، تدخل أدلة التقييم ضمن إدارة مخاطر النماذج. تؤكد إرشادات الاحتياطي الفيدرالي المعدلة المنشورة في 17 أبريل 2026 الحوكمة المتناسبة مع الخطر، والتحقق المستقل، والمتابعة المستمرة، وحدود الاستخدام، والمراجعة الفعالة. انطباقها يتوقف على المؤسسة والاستخدام؛ مجموعة التقييم دليل ضمن الحوكمة وليست إثبات امتثال.
أغلق الحلقة مع الإنتاج
اختبارات ما قبل الإطلاق نموذج للواقع وليست الواقع. اجمع إشارات نتائج تحترم الخصوصية: التصعيد، والتصحيح، وإتمام المهمة، وخرق السياسة، والاعتراض، والزمن، والتكلفة. اربطها بالإعدادات التي خضعت للتقييم، وراقب تغير توزيع المدخلات والإخفاقات بحسب الشرائح.
كل إخفاق مؤكد يجب أن ينتج سجل حادثة، وحالة اختبار مصغرة قابلة للإعادة، وقراراً حول تعديل الضبط أو حد الإصدار. أعد الاختبار عند تغيير النموذج أو الموجّه أو الأداة أو البيانات أو السياسة أو المقيّم. نتائج المقارنة تتقادم بتغير هذه المكونات.
قاعدتي أن أدعي فقط ما يدعمه الدليل. لا يستطيع التقييم الجيد ضمان أن النظام «دائماً صحيح». لكنه يستطيع تقديم ادعاء أدق: ضمن إعداد مسمى ومحفظة حالات مضبوطة ومع عدم يقين معلوم، حقق المرشح الحدود المحددة، وعولجت المخاطر المتبقية أو قبلها صاحب الصلاحية. هذه نتيجة قابلة للإعادة والنقد والتراجع.
قراءات مرتبطة
- وكلاء الذكاء الاصطناعي في التقنية المالية: الرقابة قبل الاستقلالية
- الاسترجاع المعزز للعمليات المالية: الدليل قبل البلاغة
ما القرار الذي كنت ستتخذه؟
شارك سؤالاً أو تجربة أو رأياً مخالفاً. التعليقات متاحة للأعضاء المسجلين للحفاظ على نقاش مهني ومفيد.