تمرين: الحمل التدريجي

في هذا التمرين، سنتدرب على استخدام أمر COPY لتحميل البيانات تدريجيًا. في هذا التحميل التدريجي، نُحمّل فقط التغييرات الحديثة في المصدر إلى مستودع الوجهة. وكما هو الحال دائمًا، يعتمد منطقنا على متطلبات العمل وسياقه.

مثال

باعتبارنا مهندسي بيانات نعمل لدى شركة بيع بالتجزئة، فإننا مكلفون بإنشاء خط أنابيب ETL لتحميل بيانات نشاط سجل العملاء من قاعدة بيانات معاملات إلى قاعدة بيانات PostgreSQL للتحليل.

وفقًا لمتطلبات العمل، يجب تحميل دفعات جديدة من البيانات في نهاية كل يوم. ولتوفير تكاليف التخزين، يجب أن تحتوي قاعدة بيانات PostgreSQL فقط على بيانات الشهر الماضي. بعد إنشاء خطوتي الاستخراج والتحويل لخط الأنابيب، سنركز الآن على خطوة التحميل. نتائج خطوتي الاستخراج والتحويل هي ملف CSV يحتوي على بيانات سجل النشاط لليوم الأخير.

مهمتنا هي إنشاء جدول لتخزين بيانات نشاط السجل وكتابة دالة PostgreSQL تقوم بما يلي: