التكيف الكمي منخفض الرتبة (QLoRA)

كما يوحي الاسم، يجمع التكيف الكمي منخفض الرتبة (QLoRA) بين أكثر طريقتين شيوعًا للضبط الدقيق، وهما LoRA والتكميم. بينما يستخدم LoRA مصفوفات الرتبة المنخفضة لتقليل عدد المعلمات القابلة للتدريب، فإن QLoRA يوسّع نطاقه بتقليل حجم النموذج بشكل أكبر عن طريق تكميم أوزانه.

مكونات QLoRA

فيما يلي المكونات الثلاثة الرئيسية لـ QLoRA:

• كمية NormalFloat ذات 4 بتات

• التكميم المزدوج

• مُحسِّنات الصفحات

دعونا نتعمق في تفاصيل كل مكون

كمية NormalFloat ذات 4 بتات

نوع البيانات NormalFloat (NF) هو نوع بيانات مثالي نظريًا يستخدم التكميم الكمي التكميم الكمي هو تقنية تقوم بتوزيع أوزان النموذج إلى أجزاء متساوية الحجم، تسمى الكميات أو الصناديق، باستخدام دالة التوزيع التراكمي (CDF). للتأكد من أن كل صندوق كمية لديه عدد متساوٍ من القيم المعينة من موتر إدخال .

QLoRA uses a special type of quantization called 4-bit NormalFloat (NF4) quantization, which compresses the model’s weights from a 32-bit floating point to a 4-bit format. Model weights, which tend to follow a normal distribution (most values are near zero), are first scaled to fit within the range of ...