...

/

تمرين خط أنابيب ETL: التحويل

تمرين خط أنابيب ETL: التحويل

تعرف على كيفية تحويل خط أنابيب وسائل التواصل الاجتماعي باستخدام Apache Airflow.

سنغطي ما يلي...

لمواصلة تنفيذ خط الأنابيب، سنركز الآن على تحويل البيانات المستخرجة. وفقًا لمتطلبات العمل ومخطط مستودع البيانات، هناك بعض المشكلات التي نحتاج إلى حلها في بياناتنا المستخرجة. وهي:

  1. لتغيير تنسيق الشهر لجميع أعمدة التاريخ من رقمية إلى نصية (على سبيل المثال، من08 لAug )

  2. لإزالة علامات التبويب والأسطر الجديدة من الأعمدةcomment_text و post_text

  3. لتقسيم عدد المتابعين إلى ثلاث فئات،low ،medium ،high (سيتم إدراج عدد المتابعين الأقل من 1000 فيlow الفئة، سيكون عدد المتابعين بين 1000 و5000 فيmedium الفئة، ...