استراتيجيات استرجاع فعّالة لخطوط أنابيب RAG

في الدرس السابق، تناولنا الفهرسة بمقارنتها بتنظيم مكتبة كبيرة. تضع الفهرسة كل معلومة في مكانها الصحيح، مما يُسهّل العثور عليها لاحقًا. كما ذكرنا باختصار الاسترجاع، الذي يتضمن إيجاد المعلومات الدقيقة المطلوبة من هذا الهيكل المنظم. الاسترجاع يعني تحديد الكتاب الذي يُجيب على سؤالنا بدقة، بدلًا من مجرد انتزاع أي كتاب من على الرف.

تخيّل عملية الاسترجاع كأنك تطلب كتابًا من أمين مكتبة ذكي. عندما تطرح سؤالًا، يكون الأمر أشبه بإخبار أمين المكتبة بما تبحث عنه. بدلًا من توجيهك إلى قسم عشوائي، يستخدم أمين المكتبة خريطة متطورة (الفهرس) تُظهر كيفية ارتباط جميع الكتب بناءً على محتواها. يجد أمين المكتبة المكان الدقيق على الخريطة الذي يطابق سؤالك، ثم يبحث في ذلك المكان عن الكتب الأقرب في المعنى والارتباط بسؤالك. بهذه الطريقة، بدلًا من إعطائك أي كتاب، يُزوّدك أمين المكتبة بالكتاب الذي يحتوي على المعلومات الدقيقة التي تبحث عنها.

هذه الطريقة في جمع المعلومات مفتاح لضمان نجاح أنظمة RAG. فهي تضمن أن تكون الإجابات التي ننتجها صحيحة، بل ووثيقة الصلة ومفيدة بناءً على سياق السؤال المطروح.

ما هي طرق الاسترجاع المستخدمة في RAG؟

يستخدم RAG عدة أساليب استرجاع لدمج المعرفة الخارجية في عملية التوليد. تُعد هذه الاستراتيجيات أساسية لكيفية وصول أنظمة RAG إلى المعلومات ذات الصلة من قاعدة المعرفة أو مجموعة البيانات واستخدامها لتحسين جودة التوليد. فيما يلي استراتيجيات الاسترجاع الرئيسية المستخدمة في RAG:

• الاسترجاع المتفرق: تعتمد تقنيات الاسترجاع المتفرق، مثل TF-IDF وBM25، على مطابقة الكلمات الرئيسية مطابقة الكلمات الرئيسية هي تقنية استرجاع متفرقة حيث يتم استرجاع المستندات بناءً على وجود كلمات رئيسية أو مصطلحات محددة. هذه الطرق سريعة وفعّالة، لكنها قد تُغفل العلاقات الدلالية الدقيقة بين الكلمات. المتجهات المتفرقة هي تمثيلات تكون فيها معظم العناصر صفرًا، وتُستخدم عادةً لتشفير وجود أو تكرار مصطلحات مُحددة.