درجة الثقة في الذكاء الاصطناعي للمستندات هي قيمة رقمية يُرفقها النموذج بمخرَج ما، تعبّر عن تقديره الذاتي لاحتمال صحة ذلك المخرَج.
هذه الدرجة هي الآلية التي تجعل الأتمتة آمنة، لأنها ما يستخدمه النظام ليقرر أي النتائج يمكنه قبولها دون أن ينظر إليها إنسان. وفهم ما لا تعنيه هذه الدرجة أنفع من فهم ما تعنيه.
ما ليست درجة الثقة
ليست احتمالًا معايَرًا. حقل يُعاد بقيمة 0.90 لا يعني أنه صحيح في 90 بالمئة من الحالات. فمخرجات النماذج الخام مفرطة الثقة عادةً، وبفارق كبير أحيانًا، والعلاقة بين الرقم والدقة الفعلية لا تعني شيئًا قبل قياسها على مستنداتك أنت.
ليست قابلة للمقارنة بين النماذج أو بين المراحل. قيمة 0.85 الصادرة من محرك OCR تصف اليقين بشأن أشكال الحروف. وقيمة 0.85 الصادرة من نموذج استخراج تصف اليقين بأن قيمة ما تنتمي إلى حقل معيّن. وقيمة 0.85 الصادرة من مُصنِّف تصف اليقين بشأن نوع المستند. هذه كميات مختلفة على المقياس نفسه، ولا يصح حساب متوسطها ولا مقارنتها.
ليست مقياسًا للصواب لأسباب صحيحة. يمكن للنموذج أن يكون واثقًا ومحقًّا في الشيء الخطأ، كأن يستخرج تاريخًا حقيقيًا موجودًا في المستند لكنه ليس التاريخ الذي طلبه الحقل. والثقة العالية مع دلالة خاطئة هي نمط الفشل الذي ينجو من الاختبارات السطحية.
لا تكتشف غير المألوف بشكل موثوق. تُعيد النماذج عادةً ثقة متوسطة إلى عالية على مدخلات لا تشبه أي شيء تدرّبت عليه، بدلًا من قيم منخفضة مفيدة. ولهذا فإن وجود مسار صريح لغير القابل للتصنيف أهم من الاعتماد على الدرجات المنخفضة لالتقاط الجديد.
المعايرة
المعايرة هي عملية ربط الدرجات الخام بالدقة المرصودة. وتُنجَز بأخذ عيّنة ممثِّلة ومعنونة، وتجميع التنبؤات في نطاقات درجات، وقياس نسبة ما كان صحيحًا فعلًا في كل نطاق.
والناتج جدول يبيّن ما تعنيه درجة معيّنة في بيئتك. وهو يكشف كثيرًا أن حدّ القرار المفيد يقع في موضع غير بديهي، وأن الرقم الخام كان متفائلًا بشكل منهجي.
المعايرة خاصة بكل بيئة ولها مدة صلاحية. ويجب إعادتها عند تغيير النموذج، وعند إضافة مصدر مستندات جديد رئيسي، وبشكل دوري مع انحراف مزيج المدخلات.
نمط المناطق الثلاث
تقسّم معظم الأنظمة الإنتاجية نطاق الدرجات إلى ثلاث مناطق بدلًا من اثنتين.
القبول التلقائي، فوق العتبة العليا، يمرّ دون تدخل بشري. وينبغي ضبط هذه المنطقة انطلاقًا من بيانات المعايرة عند الدقة التي تتطلبها العملية فعلًا، لا عند رقم مستدير.
المراجعة البشرية، بين العتبتين، تُدرَج في قائمة انتظار لشخص. ويرى المراجع القيمة إلى جانب منطقة المستند التي جاءت منها، فإما يؤكدها أو يصححها.
الرفض أو إعادة التوجيه، دون العتبة الدنيا، لا يذهب إلى قائمة المراجعة المعتادة. فالثقة المنخفضة جدًا تشير عادةً إلى مشكلة في المدخل لا إلى حكم على الحدود: نوع مستند خاطئ، أو مسح غير مقروء، أو صفحة فارغة. وإرسال هذه الحالات إلى القائمة نفسها التي تضم الحالات الحدّية الحقيقية يُبطئ المراجعين بعمل كان ينبغي إعادته إلى المُرسِل أو إعادة تصويره.
وجود عتبتين لا عتبة واحدة هو ما يفصل بين قائمة يثق بها المراجعون وقائمة يتعلمون تمريرها سريعًا.
كيف تحدد العتبات المعالجة الآلية الكاملة
معدل المعالجة الآلية الكاملة (straight-through processing)، أي نسبة المستندات التي تكتمل دون أي لمسة بشرية، هو دالة مباشرة لموضع العتبة العليا. فإنزالها يرفع الأتمتة ويرفع معدل الخطأ، ورفعها يفعل العكس.
وهذا يجعل العتبة قرارًا تجاريًا لا قرارًا تقنيًا، وينبغي ضبطها انطلاقًا من كلفة كل نوع من الأخطاء. فوصف خاطئ في بند شراء مصدر إزعاج بسيط. وحساب بنكي خاطئ في تعليمات دفع خسارة. وهذه الحقول لا تنتمي إلى العتبة نفسها، ولهذا تُضبط العتبات لكل حقل ولكل نوع مستند بدلًا من ضبطها عالميًا. راجع تصنيف المستندات واستخراج البيانات من المستندات.
ما يخطئ عادةً
عتبة عالمية واحدة. قيمة واحدة لجميع الحقول والأنواع إما تفرط في أتمتة الحقول ذات الأثر الكبير أو تقصّر في أتمتة كل ما عداها.
عتبات تُضبط مرة ولا تُراجَع. ينحرف مزيج المدخلات، وتُحدَّث النماذج، وتتوقف نقطة التشغيل التي ضُبطت عند الانطلاق عن كونها النقطة الصحيحة.
عرض الثقة للمراجعين كنسبة مئوية. إظهار قيمة غير معايَرة مقدارها 0.92 على أنها “ثقة 92%” يدعو المراجعين إلى معاملتها كاحتمال والمصادقة عليها آليًا.
تجميع ثقة الحقول في درجة للمستند. لا يُلخَّص المستند تلخيصًا مفيدًا بمتوسط ثقة حقوله، لأن حقلًا حرجًا واحدًا منخفض الثقة أهم من عشرين حقلًا عالي الثقة.
يطبّق Contellect One عتبات لكل حقل في مرحلة التحقق من المعالجة الذكية للمستندات.
