التكيف الكمي منخفض الرتبة (QLoRA)

كما يوحي الاسم، يجمع التكيف الكمي منخفض الرتبة (QLoRA) بين أكثر طريقتين شيوعًا للضبط الدقيق، وهما LoRA والتكميم. بينما يستخدم LoRA مصفوفات الرتبة المنخفضة لتقليل عدد المعلمات القابلة للتدريب، فإن QLoRA يوسّع نطاقه بتقليل حجم النموذج بشكل أكبر عن طريق تكميم أوزانه.

مكونات QLoRA

فيما يلي المكونات الثلاثة الرئيسية لـ QLoRA:

• كمية NormalFloat ذات 4 بتات

• التكميم المزدوج

• مُحسِّنات الصفحات

دعونا نتعمق في تفاصيل كل مكون

كمية NormalFloat ذات 4 بتات

نوع البيانات NormalFloat (NF) هو نوع بيانات مثالي نظريًا يستخدم التكميم الكمي التكميم الكمي هو تقنية تقوم بتوزيع أوزان النموذج إلى أجزاء متساوية الحجم، تسمى الكميات أو الصناديق، باستخدام دالة التوزيع التراكمي (CDF). للتأكد من أن كل صندوق كمية لديه عدد متساوٍ من القيم المعينة من موتر إدخال .

يستخدم QLoRA نوعًا خاصًا من التكميم يُسمى تكميم 4 بتات NormalFloat (NF4) ، والذي يضغط أوزان النموذج من صيغة فاصلة عائمة 32 بت إلى صيغة 4 بتات. أوزان النموذج، التي تميل إلى اتباع التوزيع الطبيعي (معظم القيم قريبة من الصفر)، تُقاس أولًا لتناسب نطاق ...