problemy z jakością danych

jeśli to czytasz, prawdopodobnie dlatego, że w tym momencie masz problemy z jakością danych. Możemy być dość pewni tego domniemania, ponieważ prawda jest taka, że wiele organizacji ma problemy ze swoimi danymi, które uniemożliwiają im osiągnięcie swoich celów.

wystarczy spojrzeć na niektóre z poniższych danych z ZoomInfo, które pokazują, jak powszechny jest problem „brudnych danych” :

  • 33%
  • 62% organizacji opiera się na danych potencjalnych klientów, które są do 40% niedokładne
  • 34% firm zmienia swoje nazwy rocznie
  • 15% potencjalnych klientów zawierało zduplikowane dane
  • 7% potencjalnych klientów zawierało nieprawidłowe adresy e-mail/fizyczne
  • 40% firm cele nie powiodły się z powodu niedokładnych danych
  • 50% budżetów IT przeznacza się na odzyskiwanie danych
  • złe dane kosztują amerykańskie firmy ponad 611 mld USD rocznie

(źródło: https://blog.zoominfo.com/the-effect-of-dirty-data-on-roi/)

przynajmniej nie jesteś sam. Pytanie brzmi, co możesz z tym zrobić? Jakie kroki możesz podjąć, aby poprawić jakość danych, a także naprawić procesy zarządzania jakością danych,aby nie cierpieć z powodu tych samych problemów w dalszym ciągu?

6 najczęstszych problemów z jakością danych utrudniających organizację

poniżej znajdują się najczęstsze problemy z jakością danych, których doświadcza większość organizacji, te, które powstrzymają cię od uzyskania jak największej wartości z informacji:

1) niekompletność: jeśli brakuje istotnych informacji

2) nieścisłość: wszystkie informacje mogą być „obecne” (lub wypełnione pola danych), ale mogą zostać wprowadzone w niewłaściwym polu, nieprawidłowo napisane lub pole zawiera niepotrzebne wartości

3) niespójność: dane, które powinny być przedstawione z tą samą wartością / formatem, są niespójne (np. przy użyciu różnych walut zamiast tego samego)

4) nieważność: pola są kompletne, ale z danymi, które nie mogą być poprawne w tym kontekście (np. „dostępne jednostki” wyświetlające wartość minus)

5) redundancja: gdy te same dane są wprowadzane wielokrotnie, ale wyrażane w nieco inny sposób (np. wpisując tę samą firmę, ale z różnymi nazwami, wpisując imię i nazwisko osoby na różne sposoby itp.)

6) niestandardowe dane: informacje wprowadzane przy użyciu niestandardowych formatów (lub formatów, które nie mogą być przetwarzane przez system, na przykład procent, a nie %)

chociaż problemy z jakością danych są dalekie od ideału, czy są one wystarczającą przeszkodą, aby uzasadnić podjęcie wysiłku wprowadzenia hurtowych zmian w sposobie zarządzania danymi w organizacji? Jeśli firma może funkcjonować „odpowiednio” bez wprowadzania takich zmian, czy powinieneś po prostu kontynuować jak wcześniej i robić najlepiej z tym, co masz?

innymi słowy, kiedy należy wdrożyć procesy jakości danych (jeśli w ogóle)?

kiedy należy wdrożyć środki jakości danych?

Ogólnie rzecz biorąc, kontrola jakości danych i środki powinny być wprowadzone, gdy istnieje potrzeba biznesowa i gdy trzeba rozwiązać konkretny problem. Jak wszyscy wiemy, zawsze istnieje potrzeba biznesowa w takiej czy innej formie i zawsze jest do czego dążyć. W przeciwnym razie, co my tu wszyscy robimy?

oto kilka powodów, dla których prawdopodobnie będziesz zainteresowany poprawą jakości swoich danych (lub powinno być!):

1) Twoje dane są ważnym zasobem strategicznym, który zapewni Ci przewagę konkurencyjną, jeśli są dokładne i użyteczne

2) chcesz czerpać dane z różnych źródeł w jedną centralną hurtownię danych lub repozytorium, co będzie niezwykle trudne (jeśli nie niemożliwe) do zrobienia, jeśli informacje nie są znormalizowane

3) chcesz efektywniej zarządzać danymi podstawowymi

4) planujesz wdrożyć nowy System lub przeprowadzić migrację systemu, na przykład ze starszego systemu lub ERP do systemu opartego na chmurze

po zidentyfikowaniu uzasadnienie biznesowe dla wprowadzenia środków dotyczących jakości danych – lub przekonania innych członków Twojej organizacji o takiej potrzebie-konieczne będzie zdefiniowanie samego procesu zarządzania jakością danych. Ale kto jest za to odpowiedzialny?

kto jest zaangażowany w proces zarządzania jakością danych?

dwa rodzaje roli mają kluczowe znaczenie dla powodzenia procesu jakości danych, a mianowicie:

administratorzy danych – zajmują się profilowaniem danych i tworzeniem reguł standaryzacji i oczyszczania danych

Programiści – współpracują ze stewardami danych i odgrywają ważną rolę w projektowaniu reguł jakości danych i procesie rozwoju

obie te role będą musiały ściśle ze sobą współpracować podczas całego procesu implementacji, po czym administratorzy danych będą odpowiedzialni za monitorowanie jakości informacji.

co stanowi proces zapewnienia / zarządzania jakością danych?

sam proces obejmuje pewne etapy, które analitycy jakości danych i stewardzi danych w szczególności będą musieli wykonać, w tym:

profilowanie danych – w tym momencie będą musieli zbadać dane w celu uzyskania dogłębnego zrozumienia i zidentyfikować problemy w nim, takie jak te opisane wcześniej (niekompletność, niedokładność itp.) przed podsumowaniem problemów.

Definiowanie metryk-aby uzyskać wyobrażenie o tym, jak powszechne są problemy z danymi, a także ustanowić standardy jakości danych, będą musieli rejestrować metryki, takie jak liczba danych jest obecnie kompletna (% kompletna), ile jest spójna (% spójna), ważna (% ważna) i tak dalej.

naprawianie danych – w tym momencie, po wyprofilowaniu i oznaczeniu problemów, może rozpocząć się proces czyszczenia informacji i naprawiania problemów.

jednak wprowadzanie zmian bezpośrednio do danych oczywiście wiąże się z ryzykiem, jeśli sugerowane zmiany same w sobie są nieprawidłowe. Doprowadziłoby to do bardzo niechlujnej i zagmatwanej sytuacji, która jest jeszcze trudniejsza do naprawienia! Dlatego najlepiej nie wprowadzać żadnych zmian bezpośrednio do bazy danych od razu.

zamiast tego proponowane zmiany powinny być wymienione i szczegółowe przed przekazaniem do stewarda danych do przeglądu, po czym zostaną zatwierdzone lub odrzucone.

ewoluujące potrzeby i pytania dotyczące jakości danych do rozważenia

jednym z nieuniknionych aspektów pracy z informacjami – szczególnie jeśli chodzi o zarządzanie jakością danych, zarządzanie i zarządzanie – jest to, że nigdy nie będzie to sytuacja „jedyna i zrobiona”.

zamiast tego potrzeby Twojej organizacji w zakresie jakości danych zmienią się z czasem, a w rezultacie twoje zdefiniowane zasady będą również z czasem dostosowywane, zwłaszcza że stewardzi danych zyskają lepsze zrozumienie danych, często powtarzających się problemów i sposobów ich łagodzenia.

co więcej, same dane nie stoją w miejscu. Statystyki na początku tego bloga pokazują, jak często informacje, takie jak nazwy firm, adresy i adresy e-mail, zmieniają się i są aktualizowane, a nowe źródła danych będą również dodawane w miarę upływu czasu, co oznacza, że potrzeba zarządzania i zarządzania będzie kontynuowana.

ze względu na zmieniające się potrzeby organizacji i zmieniający się charakter samych danych, będziesz musiał również okresowo zadawać sobie pytania, aby upewnić się, że samozadowolenie nie wkrada się i że jesteś proaktywny, a nie reaktywny.

na przykład, mogą one obejmować następujące:

  • czy jakość Twoich danych rzeczywiście poprawia się z czasem, a zatem czy proces zarządzania danymi działa zgodnie z założeniami?
  • jeśli Jakość się nie poprawia, to czy trzeba aktualizować Zasady? Czy spełniają aktualne potrzeby Twojej organizacji?
  • czy w przypadku dodania nowych źródeł danych nadal obowiązują istniejące zasady dotyczące jakości danych, czy też należy je odpowiednio dostosować?

Dodaj komentarz

Twój adres e-mail nie zostanie opublikowany.

lg