تضمين النص المميز

مع استمرارنا في تعلم تطوير روبوتات الدردشة، من الضروري فهم كيفية توليد هذه الأنظمة لاستجابات شبيهة باستجابات البشر. يُقدم هذا الدرس مفهومًا بالغ الأهمية في معالجة اللغة الطبيعية (NLP)، وهو التضمين. يُعد التضمين جزءًا أساسيًا من معالجة اللغة الطبيعية (NLP) لأنه يُمكّن روبوتات الدردشة من التقاط العلاقات الدلالية بين الكلمات في فضاء متعدد الأبعاد. بتحويل النص إلى متجهات رقمية، يُمكّن التضمين روبوتات الدردشة من معالجة استفسارات المستخدم والرد عليها مع فهم سياق ولغة الاستعلام. يُشكل التضمين عنصرًا أساسيًا في بنية المُحوّل.

في البداية، حوّلنا نصنا إلى رموز بفصل الجمل إلى رموز أو كلمات. بعد فصل الكلمات، يحين وقت تحويل هذه الرموز إلى أرقام، أو بالأحرى، تضمين المتجهات. يحل التضمين مشكلة عدم القدرة على تحديد العلاقات الدلالية بين الكلمات، إذ يسمح لنا بحساب المسافة بين الكلمات المختلفة. يتم حسابها أثناء تدريب النموذج، حيث تحلل الخوارزمية ظهور الكلمات في الفقرة، أو بعبارة أخرى، أنماط تزامن الكلمات. بمجرد تحديد الأنماط وعزلها، تمثل الخوارزمية الكلمات كمتجهات. هذه المتجهات هي في الواقع إحداثيات في فضاء متعدد الأبعاد، مما يسمح لنا بحساب المسافة إلى الكلمات. لذلك، لحساب العلاقة الدلالية بين الكلمات، تجمع الخوارزمية الكلمات بالنسبة لأقرب جار لها.

يمكن فهم مفهوم التضمين من خلال تصور الكلمات كإحداثيات نقطية في الفضاء الديكارتي. تشير النقاط المتقاربة إلى تشابه دلالي. في مثال التضمين أعلاه، يمكننا أن نرى كيف تتشابه الكلمات التي لها إحداثيات متقاربة أو تنتمي إلى نفس المجموعة. على سبيل المثال، للحافلة إحداثيات [6،6] في الفضاء الديكارتي، وللطائرة إحداثيات [4،6]، وللقارب إحداثيات [5،5]. تنتمي العناصر الثلاثة إلى نفس المجموعة وهي النقل، وبالتالي تتجول في فضاء القرب. كمثال آخر، يمكننا أن نرى أن للكمبيوتر المحمول إحداثيات [1،5]، وللساعة إحداثيات [2،5]، وللهاتف إحداثيات [1،4]. جميعها تنتمي إلى نفس الفئة، وهي الإلكترونيات. ...