نقل البيانات باستخدام ETL/

...

/

تنظيف البيانات باستخدام Apache Spark: البيانات المكررة

تنظيف البيانات باستخدام Apache Spark: البيانات المكررة

تعرف على عدة طرق لجمع البيانات المكررة وإزالتها.

سنغطي ما يلي...

من جوانب تنظيف البيانات الأخرى إزالة البيانات المكررة. الهدف هو ضمان تفرد كل سجل في البيانات وعدم وجود أي سجلات مكررة. تُعد هذه العملية مهمة لأن التكرار قد يؤدي إلى نتائج غير دقيقة، ويتسبب في أخطاء عند تحميل البيانات المكررة إلى مخطط موجود، ويؤثر سلبًا على تحليل البيانات وإعداد التقارير.

يمكن أن تحدث التكرارات لأسباب عديدة: خطأ بشري، وأخطاء، وأخطاء عند الانضمام/دمج البيانات من مصادر مختلفة.

التعامل مع البيانات المكررة

كما هو الحال مع معالجة البيانات المفقودة، ينبغي علينا محاولة فهم ضرورة إزالة قيمة مكررة. يتطلب هذا سياقًا عمليًا، وستعتمد إجراءاتنا على النتيجة المرجوة.

عند العثور على سجلات بيانات مكررة، يُمكننا حذفها، أو تجميعها في سجلات منفصلة، ​​أو إضافة عمود إضافي إليها، أو الاحتفاظ بها كما هي. بشكل عام، هناك نوعان رئيسيان من البيانات المكررة:

  1. نسخ مكررة متطابقة

  2. نسخ مكررة متطابقة تقريبًا

لنلقِ نظرة على مثالٍ لمعالجة سجلات مكررة متطابقة وشبه متطابقة. في هذا العرض التوضيحي، سنستخدم ملف CSV يحتوي على بيانات العميل. يُخزَّن هذا الجدول في قاعدة بيانات علائقية OLTP. لذلك، يجب أن تكون جميع الصفوف فريدة ومُعرَّفة بالمفاتيح الأساسية.

المفاتيح الأساسية في هذه الحالة هي:

  1. customer_id

  2. first_name last_name address

تبدو عينة البيانات على النحو التالي:

Press + to interact
customer_id,first_name,last_name,address,height,weight
67432,Aragorn,Stargazer,The Shire,6.2,180
12348,Cersei,Lannister,King's Landing,5.5,140
12468,Tony,Stark,Stark Tower,6.0,175
12345,Tony,Stark,Avengers Tower,6.0,175
567892,Wolverine,Howlett,X-Mansion,5.8,165
234562,Batman,Wayne,Wayne Manor,6.2,190
345675,Captain,America,Avengers Tower,6.2,220
678903,Thor,Odinson,Asgard,6.7,250
567893,Captain,Marvel,Alpha Flight HQ,6.0,190
678901,Bruce,Banner,Calcutta,7.0,450
67899,Gandalf,The Grey,The Shire,7.0,180
123456,Jon,Snow,The Wall,5.8,170
43221,Jon,Snow,The Wall,6.1,210
23456,Daenerys,Targaryen,Dragonstone,5.6,120
34567,Arya,Stark,Winterfell,5.2,100
331231,Jean,Grey,X-Mansion,5.7,150
56789,James,Howlett,X-Mansion,5.8,165
23456,Daenerys,Targaryen,Dragonstone,5.6,120
45678,Black,Widow,S.H.I.E.L.D HQ,5.7,140
...