Erişimle zenginleştirilmiş üretim (RAG), bir dil modelinin, eğitim sırasında öğrendiklerine dayanmak yerine tanımlı bir içerik gövdesinden ilgili pasajları eriştiği ve bunları yanıtının temeli olarak kullandığı bir tekniktir.
Amacı, genel bir modelin hiç eğitilmediği belirli içerik hakkındaki sorulara yanıt vermesini ve yanıtın denetlenebilir olmasını sağlamaktır.
Nasıl işlediği
Bir soru, genellikle anlamsal benzerliği geleneksel anahtar sözcük eşleştirmesiyle birleştirerek bir içerik derlemi üzerinde bir aramaya dönüştürülür. Geri dönen pasajlar soruyla birlikte modele verilir ve modele bu pasajlardan yanıt vermesi buyurulur.
İçerik önceden, parçalara bölünüp dizinlenerek hazırlanır. Parçalama göründüğünden daha çok sonuç doğurur. Fazla küçük parçalar yorumlanmaları için gereken bağlamı yitirir; fazla büyük olduğunda ise ilgili tümce çevresindeki metinle seyreltilir. Tablo ortasından veya hüküm ortasından bölmek, iyi erişilen ve okunduğunda yanıltan parçalar üretir.
Taranmış malzeme için her şey, içeriğin öncelikle makine okunabilir olmasına bağlıdır; bu da optik karakter tanıma ve yapılandırılmış belgeler için veri çıkarımı anlamına gelir. Tanınmamış görüntüler üzerinde çalışan bir erişim sistemi hiçbir şey erişmez.
Kaynak göstermenin neden önemli olduğu
Bir RAG yanıtı hangi pasajlardan geldiğini belirtmelidir ve kaynak göstermeler süs olmaktan çok incelenebilir olmalıdır.
Üç amaca hizmet ederler. Bir okuyucunun iddiayı doğrulamasını sağlarlar; bu da özgüvenli ve yanlış bir yanıta karşı tek güvenilir savunmadır. Sistemi denetlenebilir kılarlar; düzenlemeye tabi süreçler bunu gerektirir. Ve erişim başarısızlığını ortaya çıkarırlar: ilgisiz bir pasaja gönderme yapan bir yanıt, sorunun üretim değil erişim olduğunu açığa vurur.
Kaynak göstermeler doğruluğun güvencesi değildir. Bir model gerçek bir pasaja gönderme yapıp yine de onu hatalı özetleyebilir; bu nedenle kaynak gösterme, doğrulamanın yerini almaz, ona destek olur.
Dayandırma, halüsinasyonu ortadan kaldırmadan azaltır
Dayandırma, modelin kapsamını verilen metne daraltır ve bu da uydurmayı belirgin biçimde azaltır. Onu ortadan kaldırmaz.
Kalan başarısızlık biçimleri adlandırılmaya değer, çünkü satıcı yayınları sorunun çözüldüğünü iddia etme eğilimindedir. Erişilen pasajların yanıtlamadığı bir şey sorulan bir model, geri çekilmek yerine sıklıkla yine de makul görünen bir yanıt üretecektir. İki pasajı, hiçbirinin ileri sürmediği bir iddiaya birleştirebilir. Ve doğru erişilen ama kaynağında yanlış olan içeriği yeniden üretebilir; çünkü dayandırma, temeldeki içeriğin doğruluğunu devralır.
Hafifletici önlemler teknik olmaktan çok yöntemseldir: pasajlar yetersiz olduğunda modele geri çekilmesini buyurun, erişilen pasajları yanıtın yanında gösterin ve erişim adımını birincil kalite kolu olarak ele alın; çünkü kötü erişimin ardından gelen bir üretim başarısızlığı daha iyi bir modelle düzeltilemez.
Erişim kontrolü erişim anında uygulanmalıdır
Kurumsal RAG’i bir gösterimden ayıran gereklilik budur ve en sık yanlış yapılan da budur.
Dizin her şeyi içeriyorsa ve izinler üretilen yanıta uygulanıyorsa sistem çoktan başarısız olmuştur. Model, kullanıcının göremeyeceği içeriği görmüştür ve yanıt ondan türetilmiştir. Çıktıyı süzmek bunu geri almaz; çünkü kısıtlı bir belgenin özeti, onun açıklanmasıdır. Bir belgenin var olduğunu doğrulayarak bir reddetme bile sızdırabilir.
Doğru davranış, kullanıcının izinlerini erişimden önce çözümlemek ve yalnızca görebileceklerinde arama yapmaktır; böylece aynı soruyu soran iki kullanıcı erişimlerine göre farklı yanıtlar alır. Bu, erişim katmanının aradığı içerik hizmetleri platformunun izin modelini, devralınan ve gruptan türeyen haklar dahil olmak üzere anlamasını ve bunları önbelleğe almak yerine sorgu başına yeniden çözümlemesini gerektirir.
Bu başarısızlığı testlerde kaçırmak kolaydır; çünkü yalnızca bir test düşük yetkili bir kullanıcı olarak çalıştırıldığında görünür. Yalnızca yöneticiler tarafından test edilen bir sistem doğru görünür.
Yaygın olarak yanlış giden şeyler
Erişim kalitesinin ölçülmemesi. Ekipler yanıtları değerlendirir ve doğru pasajların bulunup bulunmadığını hiç incelemez; böylece erişim başarısızlıkları için üretim suçlanır.
Eskimiş içeriğin dizinlenmesi. Bir program dahilinde yeniden kurulan bir dizin, yerini yitirmiş belgeleri tam güvenle sunar. Silinen veya yeniden sınıflandırılan içerik dizinden ivedi olarak çıkmalıdır; bu aynı zamanda bir kayıt yönetimi yükümlülüğüdür.
Yapılabildiği için her şeyin dizinlenmesi. Taslaklar, kopyalar ve yerini yitirmiş sürümler yetkili belgeyle yarışır ve her yanıtı bozar.
Kaynağa giden bir yolun olmaması. Bir okuyucunun özgün biçimindeki bir belgeye kadar izini süremediği bir yanıt, önem taşıyan bir karar için güvenilemez.
Contellect One, izin duyarlı erişimi içerik zekası ve yapay zeka öngörüleri kapsamında uygular.
