صنع نماذج مقطرة من DeepSeek-R1
تعرف على ما هي عملية التقطير وعلى نماذج التقطير DeepSeek المعروفة.
سنغطي ما يلي...
تخيل أنك تُجمّع كتابًا كبيرًا ومُفصّلًا في دليل مُوجز. يحتوي الكتاب الأصلي على رؤى عميقة وأمثلة ومعلومات أساسية، لكنك تحتاج إلى نسخة تُلخّص الأفكار مفتاح نموذج أكثر فعالية. من خلال التلخيص الدقيق، تُحافظ على أهم الدروس والمفاهيم الأساسية، مما يُسهّل استخدام الدليل مع الحفاظ على جوهر النص الأصلي. تعكس عملية نقل المعرفة هذه إلى نموذج أكثر إيجازًا وفعالية فكرة الاختصار.
ولكن ما هو التقطير؟
تقطير النموذج
الآن، لنتحدث عن الذكاء الاصطناعي. تمامًا كما هو الحال في نقع الشاي، يشير التقطير في الذكاء الاصطناعي إلى طريقة ندرب فيها نموذجًا أصغر (يُسمى الطالب ) على محاكاة نموذج أكبر وأقوى (يُسمى المعلم ). الهدف؟ الحفاظ على أكبر قدر ممكن من الذكاء مع جعل النموذج الأصغر سريعًا وفعالًا. هذا أمر بالغ الأهمية، لأن تشغيل نماذج ضخمة على الأجهزة اليومية يُشبه محاولة تشغيل محرك فيراري داخل دراجة هوائية.
معلومة تعليمية: ليست كل نماذج اللغة الصغيرة (SLMs) نماذج مُقَطَّرة. بعض نماذج اللغة الصغيرة، مثل Mistral 7B أو Gemma 2B، صغيرة الحجم بطبيعتها.
كيف تعمل عملية التقطير النموذجي
فيما يلي عملية خطوة بخطوة لكيفية عمل تقطير النموذج بشكل عام:
الخطوة الأولى: تدريب نموذج المعلم الكبير. نبدأ بنموذج ذكاء اصطناعي كبير، مُدرّب على كميات هائلة من البيانات. هذا النموذج دقيق وقوي، لكنه بطيء ومكلف حسابيًا.
الخطوة 2: إنشاء ملصقات ناعمة. بدلاً من استخدام تسميات تقليدية (مثل "كلب" أو "قطة")، يوفر نموذج المعلم توزيعات احتمالية. على سبيل المثال، بدلاً من قول "هذه قطة بالتأكيد"، قد يقول:
🐱 قطة: 85%
🦁 الأسد: 10%
🐶 كلب: 5%
تحتوي هذه الاحتمالات "الناعمة" على معرفة مخفية، مثل العلاقات بين الفئات (على سبيل المثال، القطط والأسود مرتبطة إلى حد ما).
الخطوة 3: تدريب نموذج الطالب. يتم تدريب نموذج أصغر وأكثر كفاءة باستخدام كلٍّ من البيانات الأصلية وتسميات المعلم الإلكترونية. هذا يساعد الطالب على تعلم الأنماط بطريقة أكثر ...