مثال على خط أنابيب ETL: مهمة استخراج تدفق الهواء
تعلم كيفية إضافة وظيفة الاستخراج إلى Airflow DAG.
سنغطي ما يلي...
بعد الانتهاء من المهمة السابقة، أصبح لدينا الآن وظيفة تسمىextract لاستخراج أحدث دفعة من البيانات من قاعدة بيانات الإنتاج في ملف يسمىhelper.py سنضيف هذه الوظيفة كمهمة في airflow DAG لإكمال خطوة الاستخراج.
هذه هي الطريقة التي بناء خطوط الأنابيب الخاصة بنا باستخدام تدفق الهواء، عن طريق إضافة المزيد والمزيد من المهام إلى DAG معين.
مشغلي تدفق الهواء
قبل شرح كيفية القيام بذلك، دعونا نناقش مُشغِّلات تدفق الهواء. في Airflow، تُعدّ المُشغِّلات العناصر الأساسية التي تُحدد المهام في خط الأنابيب. يختلف كل مُشغِّل عن الآخر، ويمكن استخدامه لأداء نوع مُحدد من المهام، مثل تنفيذ استعلام SQL، أو نقل الملفات، أو تشغيل نص برمجي Python ، إلخ. من بين المُشغِّلات الشائعة:
BashOperator: تستخدم لتنفيذ أوامر Bash أو البرنامج النصي ...