مثال على خط أنابيب ETL: مهمة استخراج تدفق الهواء
تعلم كيفية إضافة وظيفة الاستخراج إلى Airflow DAG.
سنغطي ما يلي...
سنغطي ما يلي...
بعد إكمال المهمة السابقة، أصبح لدينا دالة extract لاستخراج أحدث دفعة بيانات من قاعدة بيانات الإنتاج في ملف helper.py . سنضيف هذه الدالة كمهمة في airflow DAG لإكمال خطوة الاستخراج.
هذه هي الطريقة التي بناء خطوط الأنابيب الخاصة بنا باستخدام تدفق الهواء، عن طريق إضافة المزيد والمزيد من المهام إلى DAG معين.
مشغلي تدفق الهواء
قبل شرح كيفية القيام بذلك، دعونا نناقش مُشغِّلات تدفق الهواء. في Airflow، تُعدّ المُشغِّلات العناصر الأساسية التي تُحدد المهام في خط الأنابيب. يختلف كل مُشغِّل عن الآخر، ويمكن استخدامه لأداء نوع مُحدد من المهام، مثل تنفيذ استعلام SQL، أو نقل الملفات، أو تشغيل نص برمجي Python ، إلخ. من بين المُشغِّلات الشائعة:
BashOperator: يستخدم لتنفيذ أوامر Bash أو البرنامج النصي ...