تمرين خط أنابيب ETL: استخراج البيانات
دعونا نستخرج بيانات الوسائط من قاعدة بيانات PostgreSQL .
سنغطي ما يلي...
دراسة حالة
لنفترض أننا مهندسو بيانات نعمل في شركة رقمية ومهمتنا هي إنشاء خط أنابيب ETL.
أنشأت شركتنا "Fakefacebook" تطبيقًا للتواصل الاجتماعي يستخدمه المستخدمون حول العالم. يُولّد هذا التطبيق بياناتٍ مُخزّنة باستمرار في قاعدة بيانات الشركة الإنتاجية لأغراض الإدارة.
ترغب الشركة في معالجة البيانات التي يجمعها التطبيق وتحليلها لاستخلاص رؤى ثاقبة وتحديد أنماط الاستخدام. إلا أن هذه التحليلات في قاعدة بيانات الإنتاج ستُشكّل عبئًا ثقيلًا. لذلك، قررت الشركة فصل عملية الحوسبة عن تخزين البيانات، وإجراء جميع عمليات التحليل في مستودع منفصل يُسمى "مستودع البيانات".
وبسبب ذلك، تم تكليفنا بإنشاء خط أنابيب ETL وجدولة نقل البيانات المتعلقة بوسائل التواصل الاجتماعي من قاعدة بيانات الإنتاج الخاصة بشركتنا إلى مستودع البيانات.
وفقًا لمتطلبات العمل، يجب جدولة خط أنابيب ETL ليتم تشغيله ...