ڈیٹا کی صفائی

ڈیٹا کبھی کامل نہیں ہوتا

حقیقی دنیا میں آپ کو ملنے والے ہر ڈیٹا سیٹ میں مسائل ہوں گے۔ سروے کے جواب دہندگان سوالات چھوڑ دیتے ہیں۔ سینسر خراب ہو کر ناممکن اقدار ریکارڈ کرتے ہیں۔ اسپریڈ شیٹس میں کاپی پیسٹ سے نقلی سطریں بن جاتی ہیں۔ کوئی عددی خانے میں "N/A" لکھ دیتا ہے۔

ڈیٹا کی صفائی ڈیٹا کا تجزیہ کرنے سے پہلے ان مسائل کو تلاش کرنے اور ٹھیک کرنے کا عمل ہے۔ تجربہ کار ڈیٹا سائنسدان اندازہ لگاتے ہیں کہ ان کا 60-80% وقت ڈیٹا صاف کرنے اور تیار کرنے میں لگتا ہے۔

غائب اقدار سے نمٹنا

غائب اقدار سب سے عام ڈیٹا معیار کا مسئلہ ہیں۔ آپ کے پاس کئی اختیارات ہیں۔ آپ غائب اقدار والی سطریں حذف کر سکتے ہیں، جو آسان ہے مگر ڈیٹا سیٹ سکڑ جاتا ہے۔ آپ کالم کی اوسط، درمیانی یا زیادہ نفیس ماڈل سے غائب اقدار بھر سکتے ہیں۔ یا آپ غائب اقدار کو نشان زد کر کے تجزیے میں الگ متغیر کے طور پر شامل کر سکتے ہیں۔

نقلوں کی شناخت اور ہٹانا

نقلی ریکارڈز آپ کے نتائج کو بڑھا سکتے ہیں۔ نقلیں ڈیٹا ضم کرنے، فارم دوبارہ جمع کرانے، نظام کی خرابیوں اور دستی ڈیٹا اندراج کی غلطیوں سے آتی ہیں۔

بیرونی اقدار سے نمٹنا

بیرونی قدر وہ قدر ہے جو باقی ڈیٹا سے نمایاں طور پر مختلف ہو۔ اہم سوال یہ ہے کہ کیا وہ جائز ہیں یا غلطیاں۔ غلطیوں کے لیے تصحیح یا ہٹانا مناسب ہے۔ جائز بیرونی اقدار کے لیے آپ کے پاس اختیارات ہیں: رکھیں اور مضبوط شماریت استعمال کریں، معقول حد تک محدود کریں، یا الگ سے تجزیہ کریں۔

ڈیٹا کی قسم کے مسائل

کمپیوٹر اعداد، متن، تاریخوں اور زمروں کو مختلف طریقے سے سمجھتے ہیں۔ اگر کسی عددی کالم میں غلطی سے متنی اقدار ہوں تو حساب کتاب ناکام ہو جائیں گے۔ ڈیٹا کی قسم کی صفائی میں فارمیٹ کو معیاری بنانا، تاریخوں کو مستقل فارمیٹ میں ڈالنا اور زمروں کے لیبل ہم آہنگ کرنا شامل ہے۔

عام غلطیاں

ایک عام غلطی بیک اپ رکھے بغیر اصل ڈیٹا صاف کرنا ہے۔ ہمیشہ نقل پر کام کریں۔ دوسری ضرورت سے زیادہ صفائی ہے۔ بہترین حفاظت ایک صفائی لاگ رکھنا ہے: آپ نے کیا تبدیلی کی، کیوں کی اور کتنے ریکارڈ متاثر ہوئے۔