مثال على ETL—الجدولة
قم بتحميل البيانات النظيفة والمحوّلة إلى قاعدة بيانات PostgreSQL وتعلم كيفية جدولة المهام باستخدام cron.
سنغطي ما يلي...
تريد الشركة منا جدولة خط أنابيب الاستخراج والتحميل والتحويل الذي أنشأناه بحيث يعمل مرة واحدة أسبوعيًا يوم الاثنين الساعة 9:00 صباحًا. بهذه الطريقة، سيحصل عالم البيانات على بيانات مُحدَّثة عند ورود بيانات جديدة حول أرقام اليانصيب دون الحاجة إلى نشر عمليات الاستخراج والتحميل والتحويل مرارًا وتكرارًا. لجدولة خط أنابيب الاستخراج والتحميل والتحويل، سنستخدم cron .
كرون
Cron هي أداة سطر أوامر لجدولة المهام على أنظمة تشغيل Unix . بافتراض أننا نعمل على نظام تشغيل، يمكننا بسهولة جدولة الأوامر أو نصوص الشل لتشغيلها تلقائيًا وفقًا لجدول زمني. تُعرف المهام المجدولة باستخدام cron أيضًا باسم cronjobs .
Cron أداة مفيدة جدًا للمهام المتكررة، مثل التي أنشأناها للتو. لإنشاء مهام Cron، يجب إدخال الصيغة الصحيحة في ملف crontab ، وهو ملف يخزن جميع المهام المجدولة.
يمكننا تعديل ملف crontab وإضافة مهام باستخدام الأمر crontab -e . سيؤدي هذا إلى تشغيل واجهة يوفرها النظام للمستخدمين للتحكم في مهام cron الخاصة بهم وتخزينها في ...