Belge sınıflandırma, bir belgenin önceden tanımlanmış bir veya daha fazla kategoriye, çoğu zaman türüne atanmasıdır; böylece sonraki işleme adımları onu nasıl ele alacağını bilir.
Sınıflandırma, kendisinden sonra gelen her şeyin bağlı olduğu karardır. Çıkarım kuralları, doğrulama mantığı, saklama süresi, erişim kısıtlamaları ve yönlendirme hedefi, belgenin ne olduğuna karar verilmesi temelinde seçilir.
Neyin sınıflandırıldığı
Tür bariz eksendir: fatura, satın alma siparişi, sözleşme, pasaport, banka hesap özeti, teslim irsaliyesi. Üretimde önemli olan tek eksen pek nadiren budur.
İş bağlamı, aynı türden olup farklı süreçleri izleyen belgeleri ayırır; örneğin yurt içi faturaya karşı ithalat faturası ya da yeni iş başvurusuna karşı yenileme başvurusu.
Kayıt kategorisi saklamayı belirler. Aynı imzalı sözleşme, olağan bir iş kaydı olabileceği gibi yasal saklama süresi bulunan, resmi olarak beyan edilmiş bir kayıt da olabilir. Bkz. kayıt yönetimi.
Hassasiyet erişim kontrolünü ve maskelemeyi belirler. Ödeme kartı verisi veya sağlık bilgisi içeren bir belge için ele alma kurallarının, dağıtıldıktan sonra değil sınıflandırma anında uygulanması gerekir.
Yönlendirme gereksinimi bazen doğrudan sınıflandırılır; örneğin bir belgenin türünden bağımsız olarak hukuki inceleme gerektirdiğinin işaretlenmesi.
Bunları tek bir tür taksonomisine katlamak yerine ayrı etiketler olarak ele almak, taksonominin bileşimsel olarak patlamasını önler.
Üç yaklaşım ve her birinin kırıldığı yer
Kural tabanlı sınıflandırma anahtar sözcükleri, düzenli ifadeleri, barkodları veya yerleşim parmak izlerini eşleştirir. Saydamdır, çalıştırması ucuzdur ve son derece açıklanabilirdir; bu da düzenlemeye tabi ortamlarda önem taşır. Kırılgandır: bir tedarikçinin şablonunu yeniden tasarlaması ya da bir anahtar sözcüğün beklenmedik bir bağlamda görünmesi onu bozar. Sinyal gerçekten belirlenimci olduğunda, örneğin sayfaya basılı bir barkod veya form tanımlayıcısı olduğunda, kurallar doğru seçim olmayı sürdürür.
Makine öğrenmesi sınıflandırması, metin özniteliklerini, yerleşim özniteliklerini veya her ikisini kullanarak etiketli örnekler üzerinde bir model eğitir. Şablon değişkenliği karşısında kurallardan çok daha iyi genelleşir. Etiketli eğitim verisi gerektirir, üretimdeki belgeler eğitim dağılımından uzaklaştığında bozulur ve hatalarını bir denetçiye açıklamak daha zordur.
Büyük dil modeli sınıflandırması, istem verilmiş veya ince ayar yapılmış genel bir model kullanır ve göreve özgü eğitim verisine az ihtiyaç duyar ya da hiç duymaz. Olağandışı ve daha önce görülmemiş belge türlerini iyi ele alır ve yüzeysel öznitelikler yerine anlam üzerinden sınıflandırma yapabilir. Ödünler, hacimde belge başına maliyet, gecikme, kısıtlanmadıkça çalıştırmalar arasında belirlenimsizlik ve sınıflandırılamaz olarak reddedilmesi gereken bir belge için makul görünen bir etiket üretme eğilimidir.
Üretimdeki sistemlerin çoğu bunları birleştirir: güvenilir bir işaretin bulunduğu yerde belirlenimci kurallar, yüksek hacimli bilinen türler için eğitilmiş bir model ve kuyruk için geri çekilme seçeneği olarak bir LLM.
Eşiklerin neden belge türü başına belirlenmesi gerektiği
Bir güven puanı eşiği, hangi sınıflandırmaların otomatik kabul edileceğine ve hangilerinin bir kişiye gideceğine karar verir. Tek bir genel eşik belirlemek, bu aşamadaki en yaygın tasarım hatasıdır.
Nedeni, bir hatanın maliyetinin tekdüze olmamasıdır. Bir tanıtım broşürünü teslim irsaliyesi olarak yanlış sınıflandırmak birkaç saniye harcatır. Bir hukuki bildirimi genel yazışma olarak yanlış sınıflandırmak ise yasal bir süreyi kaçırabilir. İlki orta düzey güvende güvenle otomatik kabul edilebilir; ikincisi yüksek güvende bile incelemeyi hak eder.
Sınıf sıklığı bunu katlar. Hacmin yüzde 40’ında görünen bir tür bol eğitim sinyaline ve genellikle yüksek gerçek güvene sahiptir. Yüzde 0,5’inde görünen bir türün ise azdır ve güven değerleri aynı sayısal düzeyde daha az güvenilirdir.
Tür başına eşikler, bir sistemin yığını otomatikleştirirken nadir ve sonuç doğuran olanı insan yargısına bırakmasını sağlar. Ayrıca çalışma noktasını, kimsenin gerekçelendiremeyeceği tek bir sayıya gömmek yerine açık ve incelenebilir kılar.
Yaygın olarak yanlış giden şeyler
Sınıflandırılamaz sonucu yoktur. Her belgeyi bir kategoriye zorlamak, gerçekten yeni olan her şeyin özgüvenle yanlış sınıflandırılmasını garanti eder. Açık bir reddet-veya-incele yolu bir gerekliliktir, hoşluk değildir.
Çok belgeli dosyalar göz ardı edilir. Tek bir taranmış PDF sıklıkla birden çok belge içerir. Sınıflandırmadan önce sayfa düzeyinde bölme yapılmazsa dosya, ilk sayfasında baskın olan neyse ona göre etiketlenir.
Taksonomi yanlış kişiler tarafından tasarlanır. Süreç sahiplerinin tanımladığı kategoriler eyleme dönük olma eğilimindedir. Bir dosyalama yapısından devralınan kategoriler ise belgelerin eskiden nerede saklandığını anlatma eğilimindedir; bu artık yardımcı olmaz.
Contellect One bu aşamayı yapay zeka ile belge sınıflandırma olarak uygular.
