ما هو الضبط الدقيق؟
تعرف على كيفية ضبط درجة الماجستير في القانون، وفهم احتياجاتها، واكتشاف معاييرها مفتاح والخطوات الأساسية لضبط أي درجة ماجستير في القانون بنجاح.
سنغطي ما يلي...
الضبط الدقيق هو عملية تكييف نموذج لغة مُدرَّب مسبقًا لأداء مهام وحالات استخدام محددة من خلال تدريبه بشكل أعمق على بيانات خاصة بمجال معين. يتضمن ذلك تدريب معلمات لغة برمجة رئيسية موجودة مسبقًا على بيانات خاصة بمجال معين. إن الاستفادة من المعرفة الحالية للنموذج المُدرَّب مسبقًا، إلى جانب التدريب على البيانات الجديدة، يُمكِّن النموذج من فهم المهام المحددة والاستجابة لها بشكل أفضل.
قبل الانتقال إلى كيفية عمل الضبط الدقيق، دعونا نتعلم باختصار كيفية تدريب هذه النماذج مسبقًا.
تدريب طلاب الماجستير في القانون تحت الغطاء
أحدثت المحولات ثورة في مجال معالجة اللغة الطبيعية (NLP). تُبنى معظم نماذج اللغات الحديثة اليوم، مثل GPT وLlama وBERT وغيرها، على بنية المحول لفهم وإنشاء نصوص شبيهة بالنصوص البشرية. يمكن أن تتكون المحولات من بنية مُشفّر-فكّ تشفير، ولكن العديد من النماذج تستخدم أحد هذين المكونين فقط. يأخذ المُشفّر إدخال ويُولّد تمثيله. يُمرّر التمثيل إلى مُفكّك التشفير، الذي يُولّد إخراج. تُساعد هذه البنية النماذج على تعلّم تفاصيل وأنماط مُعقدة من البيانات أثناء التدريب المُسبق.
أثناء التدريب المسبق، يُدرَّب النموذج فعليًا على مجموعة كبيرة من البيانات. تتضمن عملية التدريب المسبق الطبقات التالية:
طبقة تضمين الإدخال: تقوم بتحويل إدخال إلى التمثيل الرقمي المسمى بالتضمينات.
طبقة الترميز الموضعي: تقوم بإضافة معلومات حول موضع الكلمة إلى تضمين إدخال وإرسال هذه المعلومات المجمعة إلى المشفر.
طبقات المُرمِّز : يستخدم المُرمِّز، المُكوَّن من طبقات فرعية متعددة، آليات الانتباه الذاتي لمساعدة النموذج على فهم سياق الكلمات إدخال والعلاقة بينها. تحسب طبقة الانتباه متعددة الرؤوس في المُرمِّز
مصفوفة الانتباه مصفوفة الاهتمام هي مصفوفة تحدد أهمية كل كلمة في تسلسل إدخال فيما يتعلق بجميع الكلمات الأخرى. طبقات فك التشفير : يتكون فك التشفير أيضًا من طبقات فرعية متعددة تُولّد تسلسل إخراج . أولًا، تحسب طبقة الانتباه متعددة الرؤوس المُقنّعة مصفوفة الانتباه لتضمين إخراج ، ثم تُمرّرها إلى طبقة الانتباه متعددة الرؤوس. تُدمج هذه الطبقة هذه المصفوفة مع تمثيل المُرمّز، وتُولّد تمثيل إخراج. يُطبّق مُكوّن الإضافة والقياس بعد كل طبقة فرعية من فك التشفير، والذي يجمع إدخال الطبقة مع إخراج (الاتصال المتبقي)، ويُطبّع عمليات التنشيط لتحقيق استقرار العملية.
الطبقة الخطية: تقوم الطبقة الخطية بتحويل إخراج جهاز فك التشفير إلى
لوجيت في سياق المحولات، تعتبر اللوجيتات هي قيم إخراج غير الطبيعية التي تنتجها الطبقة النهائية من النموذج. طبقة سوفت ماكس: تُطبّق طبقة سوفت ماكس دالة سوفت ماكس لتحويل اللوجيتات إلى احتمالات. ثم يُختار رمز ذو أقصى احتمال إخراج نهائي.
بايتات تعليمية: يمكن أن يحتوي المحول على ما يصل إلى
سيكون عدد طبقات التشفير وفك التشفير والتمثيل الذي تم الحصول عليه بواسطة الطبقة الأخيرة هو إخراج النهائي.
خلال مرحلة ما قبل التدريب، تُدرَّب جميع هذه الطبقات معًا. يفهم النموذج الأنماط والهياكل العامة في الطبقات الأولى، ثم ينتقل إلى تعلم خصائص بيانات محددة في الطبقة اللاحقة. يُستخدم هذا المفهوم الأساسي بعد ذلك للضبط الدقيق، حيث نُدرِّب النموذج المُخصَّص لمهام مُحدَّدة.
كيف يعمل الضبط الدقيق
يتضمن الضبط الدقيق أخذ نموذج مدرب مسبقًا تعلم الأنماط العامة من مجموعات بيانات كبيرة وضبط معلماته لتناسب مجموعات البيانات المخصصة والمحددة للمهمة.
وفقًا لمهمتنا، نأخذ مجموعة بيانات أصغر من بيانات ما قبل التدريب، ونعدّل أوزان النموذج لتمكينه من التكيف مع البيانات الجديدة. بهذه الطريقة، يُحسّن النموذج معرفته الحالية ويتعلم تفاصيل البيانات الجديدة. وبالبناء على معرفة النموذج المُدرّب مسبقًا، يُمكّن الضبط الدقيق النموذج من التعلم بكفاءة ودقة أكبر.
دعونا نفكر في سيناريو لفهم أهمية الضبط الدقيق.
السيناريو: خدمة الرعاية الصحية
تخيلوا أن أحد مقدمي خدمات الرعاية الصحية المشهورين يسعى لدمج نماذج الذكاء الاصطناعي مثل ChatGPT وGemini وLlama في نظامه الطبي. يهدفون إلى تطوير روبوت محادثة يُنشئ خطط علاج شخصية لكل مريض بناءً على مرضه وتاريخه الطبي وملامحه الجينية ونمط حياته. كيف يُمكنهم تحقيق ذلك؟
قد نعتقد أنه يمكن تحقيق ذلك ببساطة باختيار برنامج ماجستير في القانون لروبوت المحادثة وتوفير بيانات المرضى كسياق للنموذج. هذا صحيح بالفعل. هذا النهج ناجح مع عدد أقل من المرضى، ولكن مع ازدياد عدد المرضى (لنفترض ملايين)، يزداد حجم بيانات المرضى بشكل ملحوظ ليصل إلى وحدات جيجا بايت وتيرابايت.
لن يكفي الاعتماد على المعرفة العامة للنموذج، إذ سيستغرق الآن وقتًا أطول بكثير لدراسة سياق كل استعلام. وهذا يؤثر أيضًا على كفاءة النموذج ودقته. والأهم من ذلك، سيصبح تحديث السياق وتحليل البيانات المعقدة لوضع خطط علاج فعالة أمرًا صعبًا للغاية ويستغرق وقتًا طويلاً بالنسبة لمقدمي خدمات الرعاية الصحية. ما العمل الآن؟
للتعامل مع هذا الوضع الصعب، يحتاجون إلى طريقة أكثر فعالية لضبط نموذج لغتهم ليتوافق مع مجموعة بيانات مريضهم المحددة. يتطلب الأمر تدريب النموذج على التعلم من مجموعة بياناته الفريدة وتقليل الوقت المستغرق لتحديث السياق وتحليل البيانات المعقدة. مع ذلك، فإن تدريب نموذج من الصفر غير ممكن، إذ يتطلب موارد ووقتًا كبيرين. علاوة على ذلك، يُخاطر هذا النهج بفقدان المعرفة والقدرات السابقة للنموذج أثناء التعلم من مجموعة بيانات جديدة. يحتاجون إلى طريقة لتحسين النموذج الحالي وضبطه للتعامل مع مجموعة البيانات الضخمة واستخدامها بفعالية. وهنا يأتي دور الضبط الدقيق.
يعد الضبط الدقيق مهمًا لأنه يسمح للنماذج بما يلي:
الأداء: ضبط البيانات المحددة وتحسين الأداء في مهام محددة
الدقة: التقاط تفاصيل البيانات الخاصة بالمهمة، مما يؤدي إلى تحسين دقة استجابة النموذج.
الكفاءة: تقليل الموارد الإجمالية والوقت من خلال تثبيت عملية التدريب على البيانات الخاصة بالمهمة.
القدرة على التكيف: التعلم بسرعة من البيانات الجديدة، والتكيف مع متطلبات المستخدم والمهمة.
إمكانية التوسع: يسمح الضبط الدقيق للنموذج بالتعامل مع حجم كبير من التفاعلات الشخصية بكفاءة، مما يوفر تجربة مستخدم أفضل.
الاحتفاظ بالمعرفة : الاحتفاظ بالمعرفة التي تم تدريبها مسبقًا أثناء تعلم معلومات جديدة خاصة بالمهمة، وتجنب "
النسيان الكارثي عندما ينسى طالب ماجستير القانون المعرفة السابقة أثناء التعلم من مجموعة بيانات جديدة، يُسمى هذا المفهوم "النسيان الكارثي". يحدث هذا عادةً أثناء ضبط جميع أو بعض معايير ماجستير القانون.
معلمات التدريب
يُعدّ ضبط معلمات التدريب أمرًا بالغ الأهمية أثناء ضبط النموذج بدقة. تلعب هذه المعلمات دورًا هامًا في التحكم في كيفية تعلم النموذج من مجموعة البيانات المخصصة وتحقيقه الأداء الأمثل أثناء الضبط الدقيق. فيما يلي بعض المعلمات التي يجب مراعاتها لضبط النموذج بدقة وفعالية:
حجم الدفعة: هو عدد الأمثلة المُعالَجة في دورة واحدة من عملية التدريب. يعتمد اختيار حجم الدفعة على عوامل مثل حجم بيانات التدريب، وموارد الذاكرة، وتعقيد المهمة. كلما زاد حجم الدفعة، زادت كمية البيانات المُدربة في دورة واحدة، مما يُسرّع عملية التدريب ككل، ولكنه يتطلب أيضًا ذاكرة أكبر لمعالجة البيانات.
العصور: هو عدد الدورات التي تمر عبر مجموعة البيانات الكاملة. يعتمد اختيار قيمة العصر أيضًا على تعقيد بيانات التدريب وحجمها. قد يؤدي انخفاض قيمة العصور إلى:
عدم ملاءمة النموذج يعني أن النموذج لم يتعلم كل التفاصيل والأنماط من بيانات التدريب ويفشل في الأداء على بيانات الاختبار. عدم التجهيز عندما لا يتعلم النموذج كل التفاصيل والأنماط من بيانات التدريب ويفشل في الاستجابة بدقة لبيانات التدريب والبيانات الجديدة، فإن هذا يسمى عدم ملاءمة النموذج. الإفراط في التجهيز عندما يعمل النموذج بشكل جيد لبيانات التدريب، لكنه يفشل في الاستجابة بدقة لبيانات الاختبار والبيانات الجديدة، يسمى هذا الإفراط في ملاءمة النموذج. التكرار: هو عدد
دفعات يتم تقسيم مجموعة البيانات إلى أجزاء أصغر لتمريرها إلى النموذج للتدريب ويسمى ذلك بالدفعة.
معدل التعلم: يُستخدم لتحديد سرعة تعلم النموذج من بيانات التدريب. يتطلب معدل التعلم المنخفض عصورًا أكثر لعكس التأثيرات، بينما يعكس معدل التعلم الأعلى التغييرات بشكل أسرع، حتى مع عصور أقل.
بايتات تعليمية: عدد الدفعات وحجم الدفعة مفهومان مختلفان. يشير عدد الدفعات إلى عدد الأجزاء الأصغر التي تُقسّم إليها مجموعة البيانات، بينما يشير حجم الدفعة إلى عدد الأمثلة التي تمت معالجتها في دفعة واحدة أثناء التدريب.
خطوات الضبط الدقيق
فيما يلي الخطوات مفتاح التي يتعين علينا القيام بها لضبط أي درجة ماجستير في القانون:
اختيار النموذج: الخطوة الأولى والأهم هي اختيار نموذج لغة مُدرَّب مسبقًا، وذلك بناءً على مهمتنا في الضبط الدقيق. النماذج المُدرَّبة مسبقًا هي نماذج عامة مُدرَّبة على مجموعة كبيرة من البيانات. هناك عدد من...
مفتوح المصدر النماذج مفتوحة المصدر هي النماذج التي تكون متاحة مجانًا للجميع لأغراض البحث والتطوير. مغلق المصدر النماذج المغلقة المصدر هي النماذج التي تحتاج إلى اشتراك مدفوع أو ترخيص لاستخدامها.
ملاحظة: في هذه الدورة، سنستخدم Meta's Llama 3.1 مع 8 مليارات معلمة للضبط الدقيق. يُرجى العلم أن اختيار النموذج يعتمد على عوامل مثل تعقيد المهمة والموارد الحاسوبية المتاحة.
إعداد مجموعة البيانات: خطوتنا التالية هي إيجاد مجموعة بيانات خاصة بمهامنا ومجالاتنا. هذه الخطوة بالغة الأهمية، إذ يعتمد الضبط الدقيق على مجموعة البيانات التي نختارها. يجب تنظيمها وترتيبها ليتمكن النموذج من التعلم منها.
معالجة مجموعة البيانات مسبقًا: بعد تجهيز مجموعة البيانات، نبدأ بمعالجتها مسبقًا. تتضمن هذه الخطوة تنظيف البيانات ثم تقسيمها إلى مجموعتي تدريب واختبار. بعد انتهاء المعالجة المسبقة، تصبح مجموعة البيانات جاهزة للضبط الدقيق.
تهيئة معلمات التدريب: الخطوة المهمة التالية هي تهيئة معلمات الضبط الدقيق للنموذج. يتضمن ذلك ضبط معلمات التدريب، مثل معدل التعلم، وحجم الدفعة، والفترات الزمنية، وغيرها.
ضبط النموذج بدقة: أصبحنا الآن جاهزين لضبط النموذج بدقة. تُدرّب هذه الخطوة النموذج على مجموعة بيانات جديدة مع الاحتفاظ بنموذج المعرفة السابق من مرحلة ما قبل التدريب. هذا يُمكّن النموذج من اكتساب المعرفة المتعلقة ببياناتنا الخاصة بالمهمة.
التقييم والتحسين: الخطوة الأخيرة هي تقييم نتائج النموذج لتقييم أدائه وفقًا لمهمتنا وإجراء أي تعديلات ضرورية. بعد التقييم، يصبح نموذجنا جاهزًا للاستخدام في المهمة المطلوبة.
