...

/

تمرين خط أنابيب ETL: التحويل

تمرين خط أنابيب ETL: التحويل

تعرف على كيفية تحويل خط أنابيب وسائل التواصل الاجتماعي باستخدام Apache Airflow.

سنغطي ما يلي...

لمواصلة تنفيذ خط الأنابيب، سنركز الآن على تحويل البيانات المستخرجة. وفقًا لمتطلبات العمل ومخطط مستودع البيانات، هناك بعض المشكلات التي نحتاج إلى حلها في بياناتنا المستخرجة. وهي:

  1. لتغيير تنسيق الشهر لجميع أعمدة التاريخ من رقمية إلى نصية (على سبيل المثال، من 08 إلى Aug )

  2. لإزالة علامات التبويب والأسطر الجديدة من الأعمدة comment_text و post_text

  3. لتقسيم عدد المتابعين إلى ثلاث فئات، low ، medium ، high (عدد المتابعين أقل من 1000 سيكون في الفئة low ، وعدد المتابعين بين 1000 و5000 سيكون في الفئة medium ، وأعلى من ...