التوليد المعزَّز بالاسترجاع (RAG) هو تقنية يسترجع فيها نموذج لغوي مقاطع ذات صلة من مجموعة محتوى محددة ويستخدمها أساسًا لإجابته، بدلًا من الاعتماد على ما تعلّمه أثناء التدريب.
والغرض هو جعل نموذج عام يجيب عن أسئلة حول محتوى معيّن لم يُدرَّب عليه قط، وجعل الإجابة قابلة للتحقق.
كيف يعمل
يُحوَّل السؤال إلى بحث في مجموعة محتوى، وذلك عادةً بالجمع بين التشابه الدلالي ومطابقة الكلمات المفتاحية التقليدية. وتُقدَّم المقاطع العائدة إلى النموذج مع السؤال، ويُوجَّه النموذج إلى الإجابة من تلك المقاطع.
ويُهيَّأ المحتوى مسبقًا بتقسيمه إلى مقاطع (chunks) وفهرستها. والتقسيم أعظم أثرًا مما يبدو. فالمقاطع الصغيرة جدًا تفقد السياق اللازم لتفسيرها؛ والكبيرة جدًا يذوب فيها السطر ذو الصلة بين النص المحيط. والتقسيم في وسط جدول أو في وسط بند تعاقدي يُنتج شذرات تُسترجَع جيدًا وتُضلّل عند قراءتها.
وبالنسبة للمواد الممسوحة، يعتمد كل شيء على كون المحتوى مقروءًا آليًا أولًا، وهذا يعني التعرّف البصري على الحروف و، للمستندات المهيكلة، استخراج البيانات. فنظام استرجاع يعمل على صور غير متعرَّف عليها لا يسترجع شيئًا.
أهمية الإحالات
ينبغي لإجابة RAG أن تذكر من أي المقاطع جاءت، وينبغي أن تكون الإحالات قابلة للفحص لا زخرفية.
وهي تخدم ثلاثة أغراض. فهي تتيح للقارئ التحقق من الادعاء، وهذا هو الدفاع الموثوق الوحيد ضد إجابة واثقة وخاطئة. وهي تجعل النظام قابلًا للتدقيق، وهذا ما تقتضيه العمليات الخاضعة للتنظيم. وهي تُظهر فشل الاسترجاع: فالإجابة التي تُحيل إلى مقطع غير ذي صلة تكشف أن الاسترجاع، لا التوليد، هو المشكلة.
والإحالات ليست ضمانًا للصواب. فيمكن للنموذج أن يُحيل إلى مقطع حقيقي ومع ذلك يلخّصه تلخيصًا غير دقيق، فالإحالة تدعم التحقق ولا تُغني عنه.
التأسيس على المصادر يقلّل الاختلاق دون أن يُلغيه
التأسيس يضيّق نطاق النموذج إلى النص المُقدَّم، وهذا يقلّل الاختراع تقليلًا جوهريًا. لكنه لا يُلغيه.
وأنماط الفشل المتبقية تستحق التسمية، لأن مواد المورّدين تميل إلى ادعاء أن المشكلة حُلّت. فالنموذج المسؤول عن شيء لا تجيب عنه المقاطع المسترجَعة سيُنتج غالبًا إجابة معقولة على أي حال بدلًا من الامتناع. وقد يدمج مقطعين في ادعاء لا يقوله أيٌّ منهما. ويمكنه إعادة إنتاج محتوى استُرجِع بشكل صحيح لكنه خاطئ في مصدره، لأن التأسيس يرث دقة المحتوى الأساسي.
والتخفيفات إجرائية لا تقنية: وجِّه النموذج إلى الامتناع عندما تكون المقاطع غير كافية، واعرض المقاطع المسترجَعة إلى جانب الإجابة، وتعامل مع خطوة الاسترجاع كرافعة الجودة الأساسية، لأن فشل التوليد اللاحق لاسترجاع سيئ لا يمكن إصلاحه بنموذج أفضل.
يجب فرض التحكم في الوصول عند لحظة الاسترجاع
هذا هو المتطلَّب الذي يفصل RAG المؤسسي عن العرض التوضيحي، وهو الأكثر خطأً.
فإذا كان الفهرس يحتوي كل شيء والصلاحيات تُطبَّق على الإجابة المُولَّدة، فقد فشل النظام سلفًا. فالنموذج قد رأى محتوى قد لا يجوز للمستخدم رؤيته، والإجابة مستمدة منه. وتصفية المخرَج لا تُلغي ذلك، لأن تلخيص مستند مقيّد إفصاح عنه. وحتى الامتناع قد يُسرِّب، بتأكيد وجود المستند.
والسلوك الصحيح هو حَلّ صلاحيات المستخدم قبل الاسترجاع والبحث فقط في ما يجوز له رؤيته، بحيث يتلقى مستخدمان يسألان السؤال نفسه إجابتين مختلفتين بحسب وصولهما. وهذا يقتضي أن تفهم طبقة الاسترجاع نموذج الصلاحيات في منصة خدمات المحتوى التي تبحث فيها، بما فيه الحقوق الموروثة والمستمدة من المجموعات، وأن تعيد حلّها لكل استعلام بدلًا من تخزينها مؤقتًا.
ويسهل تفويت هذا الفشل في الاختبار، لأنه لا يظهر إلا عند تشغيل اختبار بصفة مستخدم قليل الصلاحيات. فالنظام الذي لا يختبره إلا المسؤولون يبدو صحيحًا.
ما يخطئ عادةً
عدم قياس جودة الاسترجاع. تُقيّم الفرق الإجابات ولا تفحص قط ما إذا كانت المقاطع الصحيحة قد وُجدت، فيُلام التوليد على أعطال الاسترجاع.
فهرسة محتوى قديم. الفهرس الذي يُعاد بناؤه وفق جدول يقدّم مستندات مُلغاة بثقة كاملة. فالمحتوى المحذوف أو المُعاد تصنيفه يجب أن يخرج من الفهرس سريعًا، وهذا أيضًا التزام من التزامات إدارة السجلات.
فهرسة كل شيء لأن ذلك ممكن. فالمسودات والنسخ المكرّرة والإصدارات المُلغاة تنافس المستند المعتمد وتُضعف كل إجابة.
عدم وجود طريق إلى المصدر. الإجابة التي لا يستطيع القارئ تتبّعها إلى مستند في صورته الأصلية لا يمكن الاعتماد عليها في قرار ذي أثر.
يطبّق Contellect One استرجاعًا مراعيًا للصلاحيات في ذكاء المحتوى والرؤى المدعومة بالذكاء الاصطناعي.
