Belge yapay zekasında güven puanı, bir modelin bir çıktıya eklediği ve o çıktının doğru olma olasılığına ilişkin kendi tahminini gösteren sayısal bir değerdir.
Bu puan, otomasyonu güvenli kılan mekanizmadır; çünkü bir sistemin hangi sonuçları bir insan bakmadan kabul edebileceğine karar vermek için kullandığı ölçüt tam olarak budur. Puanın ne anlama gelmediğini anlamak, ne anlama geldiğini anlamaktan daha yararlıdır.
Güven puanının olmadığı şeyler
Kalibre edilmiş bir olasılık değildir. 0,90 ile dönen bir alan, zamanın yüzde 90’ında doğru olduğu anlamına gelmez. Ham model çıktıları tipik olarak, kimi zaman belirgin biçimde, aşırı özgüvenlidir ve sayı ile gerçek doğruluk arasındaki ilişki bir anlam taşıması için önce kendi belgeleriniz üzerinde ölçülmelidir.
Modeller veya aşamalar arasında karşılaştırılabilir değildir. Bir OCR motorundan gelen 0,85, karakter biçimlerine ilişkin kesinliği anlatır. Bir çıkarım modelinden gelen 0,85, bir değerin bir alana ait olduğuna ilişkin kesinliği anlatır. Bir sınıflandırıcıdan gelen 0,85, belge türüne ilişkin kesinliği anlatır. Bunlar aynı ölçek üzerinde yer alan farklı niceliklerdir; ortalaması alınamaz ve karşılaştırılamaz.
Doğru gerekçeyle doğruluğun ölçüsü değildir. Bir model yanlış şey konusunda özgüvenli biçimde doğru olabilir; örneğin belgeden, alanın istediği tarih olmayan gerçek bir tarihi çıkarabilir. Yüksek güvenle birlikte hatalı anlam, naif testlerden sağ çıkan başarısızlık biçimidir.
Alışılmadık girdileri güvenilir biçimde saptamaz. Modeller, eğitildikleri hiçbir şeye benzemeyen girdilerde genellikle işe yarar biçimde düşük değerler yerine orta ile yüksek arası güven döndürür. Yeniliği yakalaması için düşük puanlara güvenmek yerine açık bir sınıflandırılamaz yolunun bulunmasının daha önemli olmasının nedeni budur.
Kalibrasyon
Kalibrasyon, ham puanların gözlemlenen doğrulukla eşleştirilmesi sürecidir. Temsili ve etiketli bir örneklem alınarak, öngörüler puan bantlarına gruplanarak ve her bantta gerçekten doğru olanların oranı ölçülerek yapılır.
Çıktı, belirli bir puanın sizin ortamınızda ne anlama geldiğini bildiren bir tablodur. Bu tablo sıklıkla, işe yarar karar sınırının sezgiye aykırı bir yerde durduğunu ve ham sayının sistematik olarak iyimser olduğunu ortaya koyar.
Kalibrasyon ortama özgüdür ve zamanla geçerliliğini yitirir. Model değiştiğinde, önemli bir yeni belge kaynağı eklendiğinde ve girdi bileşimi kaydıkça belirli aralıklarla yeniden yapılmalıdır.
Üç bölge deseni
Üretimdeki sistemlerin çoğu puan aralığını iki değil üç bölgeye ayırır.
Otomatik kabul, bir üst eşiğin yukarısında, insan katılımı olmadan geçer. Bu bölge, yuvarlak bir sayıya göre değil, sürecin gerçekten gerektirdiği doğruluk düzeyinde kalibrasyon verisinden belirlenmelidir.
İnsan incelemesi, iki eşik arasında, bir kişi için kuyruğa alınır. İnceleyen kişi değeri, geldiği belge bölgesiyle birlikte görür ve onu ya onaylar ya da düzeltir.
Reddetme veya yeniden yönlendirme, bir alt eşiğin altında, olağan inceleme kuyruğuna gitmez. Çok düşük güven genellikle sınırda bir değerlendirmeden çok girdiyle ilgili bir sorunu gösterir: yanlış belge türü, okunamayan bir tarama, boş bir sayfa. Bunları gerçek sınır durumlarıyla aynı kuyruğa göndermek, gönderene geri iletilmesi ya da yeniden yakalanması gereken işle inceleyen kişileri yavaşlatır.
Bir eşik yerine iki eşik kullanmak, inceleyenlerin güvendiği bir kuyruğu, göz gezdirmeyi öğrendikleri bir kuyruktan ayıran şeydir.
Eşiklerin doğrudan işlemeyi belirleme biçimi
Doğrudan işleme oranı, yani hiçbir insan teması olmadan tamamlanan belgelerin oranı, üst eşiğin nerede durduğunun doğrudan bir işlevidir. Eşiği düşürmek otomasyonu ve hata oranını yükseltir; yükseltmek bunun tersini yapar.
Bu da eşiği teknik bir karar olmaktan çıkarıp bir iş kararına dönüştürür ve her hata türünün maliyetinden yola çıkılarak belirlenmelidir. Bir satın alma satırındaki hatalı açıklama küçük bir sıkıntıdır. Bir ödeme talimatındaki hatalı banka hesabı ise bir kayıptır. Bu alanlar aynı eşiğe ait değildir; eşiklerin genel olarak değil alan başına ve belge türü başına belirlenmesinin nedeni budur. Bkz. belge sınıflandırma ve belgeden veri çıkarımı.
Yaygın olarak yanlış giden şeyler
Tek bir genel eşik. Tüm alanlar ve türler için tek bir değer, ya sonuç doğuran alanları aşırı otomatikleştirir ya da geri kalan her şeyi yetersiz otomatikleştirir.
Bir kez belirlenip bir daha gözden geçirilmeyen eşikler. Girdi bileşimi kayar, modeller güncellenir ve devreye alma anında belirlenen bir çalışma noktası doğru nokta olmaktan çıkar.
Güvenin inceleyenlere yüzde olarak gösterilmesi. Kalibre edilmemiş bir 0,92’yi “yüzde 92 güven” olarak göstermek, inceleyenleri bunu bir olasılık gibi ele almaya ve buna göre onay damgası vurmaya çağırır.
Alan güvenlerinin belge puanına toplanması. Bir belge, alan güvenlerinin ortalamasıyla işe yarar biçimde özetlenemez; çünkü kritik tek bir düşük güvenli alan, yirmi yüksek güvenli alandan daha önemlidir.
Contellect One, akıllı belge işleme sürecinin doğrulama aşamasında alan başına eşikler uygular.
