تضمينات المستندات الافتراضية (HyDE): محاكاة السياق

لماذا تضمين المستندات الافتراضية (HyDE)؟

يعتمد استرجاع المستندات التقليدي في نماذج RAG على مطابقة الاستعلامات مع المستندات الموجودة في المجموعة. يواجه هذا النهج بعض القيود:

• إمكانية التعميم المحدودة: غالبًا ما تواجه طرق الاسترجاع الحالية صعوبة في التعامل مع المجالات أو الاستعلامات غير المرئية ذات الاختلافات الدقيقة.

• الدقة الواقعية: قد يؤدي استرجاع المستندات استنادًا إلى مطابقة الكلمات الرئيسية فقط إلى الحصول على معلومات غير ذات صلة أو غير دقيقة، وخاصةً بالنسبة للاستعلامات المعقدة.

يتناول HyDE هذه التحديات من خلال تقديم مفهوم المستندات الافتراضية.

ما هو HyDE؟

HyDE، كما هو موضح في هذا غاو، لويو، شيوغوانغ ما، جيمي لين، وجيمي كالين. "استرجاع دقيق وكثيف بدون علامات صلة." طبعة مسبقة من arXiv، arXiv:2212.10496 (2022). ورقة بحثية من إعداد لويو غاو، تستفيد من برامج ماجستير القانون لإنشاء تضمينات افتراضية للمستندات تُمثل مستندات مثالية للإجابة على استفسار معين. هذه التضمينات، وإن لم تكن مطابقة للمستندات الفعلية، إلا أنها تُجسد جوهر المعلومات المطلوبة. هذا يسمح لعملية الاسترجاع بالتركيز على المستندات ذات المحتوى ذي الصلة، مما يؤدي إلى إجابات أكثر دقة وإثراءً.

كيف يعمل HyDE

فيما يلي تفصيل لسير عمل HyDE:

• معالجة الاستعلام: يقوم المستخدم بإرسال استعلام.

• إنشاء مستندات افتراضية: يستخدم HyDE برنامج ماجستير في القانون لإنشاء "مستندات افتراضية" واحدة أو أكثر تُجيب على السؤال. قد لا تكون هذه المستندات واقعية أو كاملة، لكنها تُلخص المعلومات التي يحتويها المستند ذو الصلة. غالبًا ما تتضمن عملية التوليد هذه توجيه تعليمات إلى ماجستير في القانون مثل "اكتب ملخصًا موجزًا ​​لصفحة ويب تُجيب على السؤال...".

• إنشاء التضمين: يُحوَّل كل مستند افتراضي مُولَّد إلى تمثيل رقمي يُسمى التضمين. يُجسِّد هذا التضمين المعنى الدلالي للمستند.

• استرجاع المستندات: يبحث النظام عن ...