Мәгълүматлар ни өчен һичкайчан камил түгел
Чын тормышта очраган һәр мәгълүматлар җыелмасында проблемалар булыр. Анкета тутырганнар сорауларны калдыра. Датчиклар бозыла һәм мөмкин булмаган кыйммәтләр яза. Электрон таблицалар дубликат юллар белән күчереп-ябыштырыла. Кемдер сан кырына "N/A" яза. Дата "03/04/2025" рәвешендә чыга, ә сез аның 4 нче март яки 3 нче апрельне аңлатуын аера алмыйсыз.
Мәгълүматларны чистарту - мәгълүматларны анализлаганчы бу проблемаларны табу һәм төзәтү процессы. Бу матур эш түгел, ләкин теләсә нинди анализның иң мөһим адымы. Тәҗрибәле мәгълүматлар фәнчеләре вакытларының 60-80% ы мәгълүматларны чистартуга һәм әзерләүгә китүен бәялиләр. Бу адымны калдырсагыз, нәтиҗәләрегез мәгънәсез булырга мөмкин - яки тагын начаррак, ышанычлы рәвештә ялгыш.
Өстәге диаграмма мәгълүмат проектындагы вакытның типик бүленешен күрсәтә. Чистарту эш йөген доминирлый, шуңа күрә аны яхшы эшләргә өйрәнү зур дивидендлар бирә.
Югалган кыйммәтләр белән эшләү
Югалган кыйммәтләр - иң еш очраган мәгълүмат сыйфаты мәсьәләсе. Клиент формадагы керем кырын буш калдыра. Һава торышы станциясе бер көнгә сүнә. Пациент контроль визитын калдыра. Сорау: бу турыда нәрсә эшләргә?
Берничә вариант бар, һәрберсенең уңай-кимчелекләре. Югалган кыйммәтле юлларны бетерергә мөмкин - бу гади, ләкин мәгълүматлар җыелмасын кечерәйтә һәм югалу очраклы булмаса ялгышлык кертергә мөмкин (мәсәлән, югары керемле кешеләр керем сорауларын еш калдырырга мөмкин). Югалган кыйммәтләрне столбик уртачасы, медианасы яки катлаулырак прогноз моделе ярдәмендә тутырырга (импутация) мөмкин. Яки югалган кыйммәтләрне билгеләп, югалуны анализда аерым үзгәрүчән итеп кертергә мөмкин.
Дөрес ысул ни кадәр мәгълүмат югалганга һәм ни өчен югалганга бәйле. Юлларның бары 2% ында югалган кыйммәтләр бар һәм алар очраклы күренсә, бу юлларны бетерү гадәттә яхшы. Столбикның 30% ы югалган булса, бетерү бик күп мәгълүматны ташлар, импутация яки башка аналитик ысул кирәк.
Дубликатларны ачыклау һәм бетерү
Дубликат язмалар нәтиҗәләрегезне шешердергә һәм исәпләгән һәр статистиканы бозарга мөмкин. Клиентның сатып алуы базада ике тапкыр чагылса, кереме артыгы белән санала һәм транзакцияләр саны артыгы белән бәяләнә. Дубликатлар мәгълүмат берләштерүләре, форма кабат тапшыруы, система бозылулары һәм кул белән мәгълүмат кертү хаталары аша кереп утыра.
Дубликатларны табу һәрвакыт гади түгел. Төгәл дубликатларны (бертөрле юллар) табу җиңел. Ләкин "Иван Иванов" "Баш урам, 123" һәм "И. Иванов" "Баш ур., 123"? Болар мөгаен бер ук кеше, кечкенә аермалар белән. Якынча тиңләштерү техникалары якынча дубликатларны ачыкларга ярдәм итә, ләкин ике язманы берләштергәнче ни тиклем охшаш булырга кирәклеге турында карар кирәк.
Читтән чыгулар белән эшләү
Читтән чыгу - калган мәгълүматлардан кискен аерылган кыйммәт. Урта дәрәҗә хезмәткәрләре мәгълүматлар җыелмасында $5,000,000 лык эш хакы. Июль аенда Майамида -40 градус температура. 72 сәгатьлек веб-сайт сессиясе.
Читтән чыгулар белән иң мөһим сорау - алар чын мы яки хаталар мы. Баш директорның $5 миллионлык эш хакы чын - ул бары тик башка популяцияне чагылдыра. Майамида -40 градус - бу диярлек тикшерелмичә датчик хатасы. 72 сәгатьлек веб-сессия - мөгаен кемдер вкладканы ачык калдырган.
Хаталар өчен төзәтү яки бетерү яраклы. Чын читтән чыгулар өчен вариантлар бар: аларны калдырып, ышанычлы статистика кулланырга (мәсәлән, уртача урынына медиана), аларны акыллы чиктә чикләргә (винзоризация дип атала), яки аларны аерым анализларга. Читтән чыгуларны гадәти түгел генә булганлыктан автоматик бетермәгез - алар ни өчен бар икәнен һәрвакыт тикшерегез.
Мәгълүмат тибы проблемалары
Компьютерлар саннарны, текстны, даталарны һәм категорияләрне төрлечә эшкәртә. Сан столбигында очраклы текст кыйммәтләре ("N/A" яки "TBD" кебек) булса, исәпләүләр уңышсыз булыр яки хаталар чыгарыр. Даталар бертөрле булмаса (кайберләре "2025-03-15", башкалары "15/03/2025"), тәртипләү һәм фильтрлау бозылыр. Категория төрле юлларда төрлечә язылса ("АКШ", "А.К.Ш.", "Америка Кушма Штатлары"), программа аларны өч аерым төркем итеп кабул итәр.
Мәгълүмат тибы чистарту форматларны стандартлаштыру, тексттан саннарга тиешле урында әйләндерү, даталарны бертөрле форматка анализлау, категория билгеләмәләрен гармонияләүне үз эченә ала. Бу тузан, ләкин мөһим. Сан столбигында бер генә ят текст кыйммәте бөтен анализ конвейерын бозарга мөмкин.
Еш очраган тозаклар
Тәҗрибәле аналитиклар да мәгълүматларны чистарту вакытында хата ясыйлар. Еш очраган тозак - резерв копия сакламыйча оригиналь мәгълүматларны чистарту. Һәрвакыт копия белән эшләгез. Тагын берсе - артык чистарту - шулкадәр юл һәм кыйммәт бетерү ки калган мәгълүматлар инде репрезентатив түгел. Өченчесе - бертөрле булмаган чистарту - мәгълүматлар җыелмасының төрле өлешләренә ни өчен икәнен язмыйча төрле кагыйдәләр кулланау.
Иң яхшы саклау - чистарту журналы тоту: нинди үзгәреш кергәнегезне, ни өчен кертүегезне, ничә язма йогынтыда булуын язу. Бу эшегезне кабатлана торган һәм тикшерелә торган итә. Кемдер нәтиҗәләрегезне шикләндерсә, журналга күрсәтеп, чимал мәгълүматларга анализ алдыннан нәрсә булганын ачык күрсәтә аласыз.
Мәгълүматларны чистарту - ышанычлы анализның нигезе. Югалган кыйммәтләрне уйлап эшләгез, дубликатларны сакчыл бетерегез, бетергәнче читтән чыгуларны тикшерегез, мәгълүмат типларын бертөрле стандартлаштырыгыз. Һәрвакыт копия белән эшләгез, һәр үзгәрешне язып барыгыз, һәм онытмагыз: мәгълүматларны чистартуга кертгән вакытыгыз сезне мәгълүмат чыннан да раслый алмаган нәтиҗәләр ясаудан саклар.