مراقبة أنظمة الذكاء الاصطناعي: من الرموز إلى نتائج الأعمال
استمع إلى المقال
جارٍ تجهيز الصوت…
AI Engineering
أصمم قابلية رصد أنظمة الذكاء الاصطناعي لربط طلب المستخدم بالنموذج والسياق والأدوات والضوابط والتكلفة والنتيجة، من دون تحويل المحتوى الحساس إلى مستودع بيانات غير محكوم.
قد تكون الخوادم سليمة والمنتج متراجعاً
قد تعيد واجهة الذكاء الاصطناعي استجابة HTTP 200 خلال ثانيتين، لكنها تقدم ادعاءً بلا دليل أو تستدعي أداة خاطئة أو تستهلك ثلاثة أضعاف تكلفة الإصدار السابق. المعالج والذاكرة ونسبة الخطأ والزمن ضرورية، لكنها لا تصف سلوك النموذج.
اجعل وحدة الرصد محاولة إنجاز مهمة. امنحها معرف تتبع وسجل الإعداد الذي صنع النتيجة: إصدار التطبيق، وقالب الموجّه، والنموذج والمزود، ومعاملات التوليد، ونسخة الفهرس، وتعريفات الأدوات، وإصدار السياسة، ومجموعة التجربة. ثم اربط التنفيذ بالتقييم والنتيجة.
تقدم اصطلاحات OpenTelemetry الدلالية نموذج تسمية مشتركاً للتتبعات والمقاييس والسجلات والأحداث والموارد. عند البحث في 19 يوليو 2026، كانت الصفحة تشير إلى الإصدار 1.43.0، وكانت بعض اصطلاحات الذكاء الاصطناعي التوليدي ما تزال متطورة. ثبت إصدار المخطط ولا تفترض استقرار السمة التجريبية.
ابنِ محوراً للترابط
أبدأ بمقطع جذري لمهمة التطبيق، وأجعل الاسترجاع واستدعاء النموذج وتنفيذ الأداة وفحص السياسة مقاطع أبناء. أستخدم أسماء ثابتة منخفضة التنوع مثل chat.answer، لا نص سؤال المستخدم. تؤكد إرشادات OpenTelemetry حول كتابة الاصطلاحات الدلالية الأسماء منخفضة التنوع، وتصميم الإشارات، ومستويات الاستقرار، والحذر مع السمات الحساسة أو المكلفة.
سجل مراجع الإصدارات بدلاً من نسخ القطع كاملة. يشير معرف سجل الموجّه إلى القالب المعتمد، ويحدد معرف نسخة الاسترجاع مجموعة المستندات، ويحمل مقطع الأداة اسم العملية المتحقق منها ونتيجتها. بذلك يبقى التتبع قابلاً للبحث مع رابط إلى أدلة أعمق تحت صلاحيات أشد.
استخدم المقاييس للتجميع: معدل الطلبات، وزمن أول وحدة نصية (token) والزمن الكلي، وعدد الوحدات، والتكلفة، وأخطاء الأدوات، وغياب نتائج الاسترجاع، وحجب السياسات، وإتمام المهمة. استخدم السجلات للأحداث الاستثنائية والتتبعات لتفسير السببية في عينة من الطلبات. قد تصل أحكام الجودة لاحقاً ويجب ربطها بالتتبع.
راقب الجودة على ثلاثة أزمنة
تعمل الضوابط الفورية قبل الإجابة أو خلالها: تحقق البنية، وصلاحية الأدوات، ووجود الاستشهادات، وكشف الأسرار، وفحص السياسة. سجل القرار ونسخة السياسة، لا عبارة عامة مثل «فشل الحاجز».
يجري التقييم القريب من الزمن الحقيقي على عينات حديثة بعد انتهاء الطلب. تقيس اختبارات حتمية ومقيّمات معايرة الاستناد إلى الأدلة أو صحة الأداة. اسحب العينة حسب الخطر؛ عينة عشوائية 1% قد تفوت مساراً نادراً عالي الأثر.
يستخدم التقييم غير المتصل مجموعات مضبوطة قبل الإصدار وبعد الحوادث. يمكن لتتبعات الإنتاج اقتراح حالات جديدة، لكن نقل بيانات حية شخصية إلى الاختبار من دون أساس وموافقة وحوكمة يصنع مشكلة خصوصية أخرى.
يدعم ملف NIST للذكاء الاصطناعي التوليدي، المنشور في يوليو 2024 والمحدث على صفحته في أبريل 2026، متابعة الأداء والحوادث وسوء الاستخدام والخصوصية وسلامة المعلومات عبر دورة الحياة. لا يفرض حزمة قياس محددة؛ على كل جهة وصل الإشارة بالضرر الفعلي والضابط.
الخصوصية جزء من المعمارية
قد تحتوي الموجّهات والمستندات المسترجعة والمخرجات ومعاملات الأدوات على بيانات شخصية أو مالية أو أسرار أو محتوى مملوك. لا تسجلها افتراضياً. قرر لكل حقل: الحذف، أو التحويل، أو التجزئة، أو الاستبدال برمز، أو أخذ عينة، أو التشفير، أو التخزين في مستودع أدلة مقيد وبمدة أقصر.
افصل تيار تشغيل منخفض الحساسية عن أدلة المحتوى المحكومة. تحتاج معظم اللوحات إلى الأعداد والمدد والإصدارات والحالات لا المحادثة الخام. وإذا برر التحقيق حفظ المحتوى، فطبق تقييد الغرض والصلاحيات وسجل الوصول والاحتفاظ والحذف وعزل المستأجرين. يجب أن يحدث الحجب قبل خروج البيانات من حد التطبيق.
لا تخلط التسميات. الإعجاب يتأثر بالواجهة، والتصعيد قد يكون نتيجة صحيحة، ودرجة المقيّم تتغير بتغير نموذجه. سجل مصدر كل تسمية وتعريفها وقواعدها وإصدارها.
أنشئ تنبيهات مرتبطة بقرار
يسمي التنبيه الإخفاق والشريحة والحد والاستجابة. أمثلة مفيدة: محاولة أداة غير مصرح بها في مسار مميز؛ تراجع الاستناد في لغة أو نسخة مستندات؛ تجاوز تكلفة المهمة الناجحة ميزانيتها عند p95؛ ارتفاع النتائج الفارغة بعد هجرة فهرس؛ تغير كبير في الحجب أو المسار الاحتياطي؛ زيادة تصحيحات المستخدم مع بقاء البنية سليمة.
لا تضع هوية المستخدم أو الموجّه أو معرف المستند كوسم للمقياس، لأن ذلك يرفع التنوع ويزيد التسرب. احفظ المعرفات الضرورية في سجل تتبع مقيد. احتفظ بكل حادثة خطيرة وبعينة ممثلة وبحالات كافية من الشرائح النادرة.
حادثة اصطناعية
هكذا سأحقق في حادثة اصطناعية: بعد نشر إصدار جديد لمساعد يجيب من قاعدة معرفة مضبوطة، بقي الزمن وأخطاء HTTP ثابتين، لكن التصحيحات زادت في الأسئلة العربية. أظهر محور الترابط أن الحالات استخدمت الموجّه 12 والفهرس 31. كانت الفقرات المسترجعة ملائمة، لكن التقييم القريب كشف تفسيراً خاطئاً للتواريخ. عزلت المقارنة الخلل في الموجّه، فعادت الحركة إلى الإصدار 11، وتحولت الحالات المنزوعة الهوية إلى اختبارات، وأضيف حد إصدار خاص باللغة.
من دون إصدارات الموجّهات وأدلة الاسترجاع والنتائج والشرائح، لن يرى الفريق إلا خوادم سليمة وشكاوى متناثرة.
قاعدتي ليست «سجل كل شيء». أريد منظومة أدلة محدودة عمداً تشرح كيف أنتج إعداد معين نتيجة معينة، وهل كانت مقبولة. وحد الخصوصية جزء من صحة هذه المنظومة.
قراءات مرتبطة
- وكلاء الذكاء الاصطناعي في التقنية المالية: الرقابة قبل الاستقلالية
- الاسترجاع المعزز للعمليات المالية: الدليل قبل البلاغة
ما القرار الذي كنت ستتخذه؟
شارك سؤالاً أو تجربة أو رأياً مخالفاً. التعليقات متاحة للأعضاء المسجلين للحفاظ على نقاش مهني ومفيد.