التكيف الكمي منخفض الرتبة (QLoRA)

يجمع التكيف الكمي منخفض الرتبة (QLoRA) ، كما يوحي اسمه، بين أكثر طريقتين شيوعًا لضبط النموذج بدقة، وهما LoRA والتكميم. فبينما تستخدم LoRA المصفوفات منخفضة الرتبة لتقليل عدد المعلمات القابلة للتدريب، تعمل QLoRA على توسيع نطاقها من خلال تقليل حجم النموذج بشكل أكبر عن طريق تكميم أوزانه.

مكونات QLoRA

فيما يلي المكونات الرئيسية الثلاثة لـ QLoRA:

• تكميم NormalFloat ذو 4 بت

• التكميم المزدوج

• مُحسِّنات الصفحات

دعونا نتعمق في تفاصيل كل مكون

تكميم NormalFloat ذو 4 بت

يُعد نوع البيانات NormalFloat (NF) نوع بيانات مثاليًا من الناحية النظرية يستخدم التكميم الكمي التكميم الكمي هو أسلوب يقوم بتوزيع أوزان النموذج إلى أجزاء متساوية الحجم، تسمى الكميات أو الفئات، باستخدام دالة التوزيع التراكمي (CDF). لضمان أن كل خانة تكميم تحتوي على عدد متساوٍ من القيم المعينة من موتر إدخال .

QLoRA uses a special type of quantization called 4-bit NormalFloat (NF4) quantization, which compresses the model’s weights from a 32-bit floating point to a 4-bit format. Model weights, which tend to follow a normal distribution (most values are near zero), are first scaled to fit within the range of ...