نقل البيانات باستخدام ETL/

...

/

مثال ETL—التحميل

مثال ETL—التحميل

تعرف على كيفية تحميل البيانات إلى قاعدة بيانات PostgreSQL من shell.

سنغطي ما يلي...

الخطوة الأخيرة في خط أنابيب ETL هي تحميل البيانات المنظفة والمعالجة المخزنة فيclean_data.csv في قاعدة بيانات PostgreSQL .

الاتصال بقاعدة البيانات

أولاً، نقوم بإنشاء نص برمجي Bash يسمىload_data.sh سيُحوّل هذا المستخدمين من "الجذر" إلى "postgres"، ويبدأ قاعدة بيانات Postgres، ويُشغّل نصًا برمجيًا SQL لتحميل البيانات. سيتم تخزين نص SQL في ملف يُسمىload_data.sql .

Shell
#!/bin/bash
# Setting the project location as an environment  variable 
export WORKDIR='/usercode/ETL_Lottery'
# Setting Postgres bin and data directories as environment variables
export POSTGRES_BIN='/usr/lib/postgresql/16/bin'
export POSTGRES_DATA='/var/lib/postgresql/data'
# Create and start a new PostgreSQL database cluster.
# Connect to Postgres and run the file: load_data.sql
su - postgres -c "
  ${POSTGRES_BIN}/initdb -D ${POSTGRES_DATA}
  ${POSTGRES_BIN}/pg_ctl -D ${POSTGRES_DATA} start
  psql postgres -f ${WORKDIR}/load_data.sql
"
Deploying a PostgreSQL database: load_data.sh

  • الأسطر 4-8 : قمنا بتعيين موقع المشروع ودليل bin الخاص بـ Postgres كمتغيرات بيئية.

  • الأسطر 12-15: نقوم نشر قاعدة بيانات PostgreSQL وتشغيل البرنامج النصي SQL المخزن فيload_data.sql .

    ...