تطبيق الترميز الموضعي والتضمين باستخدام المحولات

يُعد فهم تسلسل الكلمات أو ترتيبها أمرًا أساسيًا لتفسير معانيها في الجمل. تُعالج نماذج المُحوِّلات بيانات إدخال بالتوازي، لذا يلزم دمج معلومات الموقع. تتميز المُحوِّلات بميزة على تقنيات معالجة اللغة الطبيعية التقليدية لتضمين النص أو مجموعة النصوص. بعد ترميز النص وتضمينه مباشرةً، يُطبَّق ترميز موقعي على المتجهات.

ببساطة، يُخزّن الترميز الموضعي ترتيب الكلمات في الجملة. بخلاف التضمينات، التي تُعيّن الكلمات إلى متجهات تُجسّد معانيها الدلالية، يُعالج الترميز الموضعي موقع الكلمات. هذا التمييز أساسي لأن معنى الجملة قد يتغير جذريًا بناءً على ترتيب الكلمات، حتى مع استخدام الكلمات نفسها.

لنأخذ جملةً كمثال لتوضيح أهمية موقع الكلمات في الجملة. الجملة الأولى هي: "خوارزميات التعلم الآلي تجد أنماطًا في البيانات". لاحظ كيف تنتشر الكلمات على المستوى الديكارتي أدناه، وإحداثيات المحورين السيني والصادي المقابلة لها.

الآن، دعونا نلقي نظرة على الجملة الثانية، وهي: "أنماط البيانات تجد خوارزميات في التعلم الآلي".

الجملتان ١ و٢ تحتويان على نفس عدد الكلمات والكلمات تمامًا، لكن ترتيبها مختلف. لاحظ الآن كيف تختلف إحداثيات المحورين x وy، مع أن الكلمات متطابقة. تتأثر الكلمات في الفضاءات عالية الأبعاد بموقعها، وبالتالي يختلف سياقها أو معناها تبعًا لترتيب الكلمات في الجملة.

علاوة على ذلك، يمكن أن تحمل الكلمة نفسها معنيين مختلفين تبعًا لسياق الجملة وترتيبها. وبشكل عام، يتحدد سياق الكلمة بالكلمات القريبة منها، أو الفاعل، أو الفعل الذي يسبقها أو يليها.

لنلقِ نظرة على مثال آخر يوضح كيف يمكن أن يكون للكلمة نفسها معنيان مختلفان. في الجملتين التاليتين، "صنّف الذكاء الاصطناعي التفاحة كفاكهة بثقة 98%" و"استثمرت آبل بكثافة في الذكاء الاصطناعي لتحسين أداء مساعدها الافتراضي"، تظهر كلمة "تفاحة" في كلتا الجملتين. في الجملة الأولى، "تفاحة" فاكهة، وبالتالي، تدفع خوارزمية الترميز الموضعي الكلمة نحو سياق الفاكهة. في الجملة الثانية، "آبل" هي العلامة التجارية للتكنولوجيا، وبالتالي، تدفع خوارزمية الترميز الموضعي الكلمة نحو سياق التكنولوجيا.

يقوم مُرمِّز الموضع بحساب وترميز موضع الكلمات في الجملة. وكما هو موضح في الصورة أدناه، فإن ترتيب ...