نقل البيانات باستخدام ETL/

...

/

مثال ETL—تحميل

مثال ETL—تحميل

تعرف على كيفية تحميل البيانات إلى قاعدة بيانات PostgreSQL من shell.

سنغطي ما يلي...

الخطوة الأخيرة في خط أنابيب ETL هي تحميل البيانات المنظفة والمعالجة المخزنة في clean_data.csv إلى قاعدة بيانات PostgreSQL .

الاتصال بقاعدة البيانات

أولاً، ننشئ نصًا برمجيًا بلغة Bash يُسمى load_data.sh ، والذي سيُحوّل المستخدمين من "الجذر" إلى "postgres"، ويُشغّل قاعدة بيانات Postgres، ويُشغّل نصًا برمجيًا بلغة SQL لتحميل البيانات. يُخزّن نص SQL في ملف يُسمى load_data.sql .

#!/bin/bash
# Setting the project location as an environment  variable 
export WORKDIR='/usercode/ETL_Lottery'
# Setting Postgres bin and data directories as environment variables
export POSTGRES_BIN='/usr/lib/postgresql/16/bin'
export POSTGRES_DATA='/var/lib/postgresql/data'
# Create and start a new PostgreSQL database cluster.
# Connect to Postgres and run the file: load_data.sql
su - postgres -c "
  ${POSTGRES_BIN}/initdb -D ${POSTGRES_DATA}
  ${POSTGRES_BIN}/pg_ctl -D ${POSTGRES_DATA} start
  psql postgres -f ${WORKDIR}/load_data.sql
"
Deploying a PostgreSQL database: load_data.sh

  • الأسطر 4-8 : قمنا بتعيين موقع المشروع ودليل bin الخاص بـ Postgres كمتغيرات بيئية.

  • الأسطر 12–15: نقوم نشر قاعدة بيانات PostgreSQL وتشغيل البرنامج النصي SQL المخزن في load_data.sql .

    ...