كتابة البيانات وهيكلتها باستخدام Python
تعرف على كيفية تطبيق تصنيف البيانات وهيكلتها كجزء من مرحلة التحويل في خط أنابيب ETL.
سنغطي ما يلي...
غالبًا ما يكون تصنيف البيانات وهيكلتها مترابطين، وهما من أولى عمليات التحويل التي نحتاج إليها. في أنابيب استخراج وتحويل وتحميل البيانات، يُحدد مخطط الوجهة أو المستودع بشكل كبير نوع التصنيف والهيكلة المطلوبين.
كتابة البيانات
تتضمن كتابة البيانات تحويل عمود أو أعمدة متعددة من البيانات إلى نوع بيانات قياسي مثل عدد صحيح أو عدد عشري أو سلسلة أو منطقي أو تغيير كيفية تمثيل البيانات.
عادةً ما يستخرج خط أنابيب استخراج وتحويل وتحميل البيانات البيانات من مصادر متعددة، ومن المتوقع أن تحتوي البيانات المستخرجة على بعض التناقضات. على سبيل المثال، غالبًا ما نحتاج إلى تحويل صيغ التاريخ من مصادر مختلفة، مثل يوم/شهر/سنة أو شهر/يوم/سنة، إلى صيغة شائعة، مثل سنة-شهر-يوم، لتسهيل مقارنة البيانات ومعالجتها وتحميلها. هذا مثال على استخدام كتابة البيانات وتغيير عمود من البيانات من تمثيل نصي (يوم/شهر/سنة) إلى آخر (شهر/يوم/سنة).
يساعد كتابة البيانات على ضمان اتساق البيانات المحولة، كما أنها ضرورية لتلبية قيود نوع البيانات لمخطط الوجهة.
علاوة على ذلك، بتوحيد نوع البيانات، يمكننا الاعتماد على دوال مدمجة تقبل نوعًا محددًا فقط من ...