problemen met de gegevenskwaliteit

als u dit leest, is dat waarschijnlijk omdat u problemen met de gegevenskwaliteit ondervindt op dit moment. We kunnen vrij zeker zijn over deze veronderstelling, omdat, de waarheid is, veel organisaties hebben problemen met hun gegevens die hen verhinderen om hun doelen te bereiken.

kijk eens naar enkele van de onderstaande cijfers uit ZoomInfo die laten zien hoe wijdverbreid het probleem met ‘vuile gegevens’ is:

  • 33% van de bedrijven hebben meer dan 100.000 records in de database
  • 62% van de organisaties vertrouwen op prospect gegevens die tot 40% onjuist
  • 34% van de bedrijven veranderen hun namen jaarlijks
  • 15% leidt opgenomen gegevens gedupliceerd
  • 7% van de leads bevat ongeldige e-mail adressen
  • 40% van business doelstellingen mislukt vanwege onjuiste gegevens
  • 50% van HET it-budget op gegevens revalidatie
  • Slecht op de kosten voor gegevensoverdracht ONS bedrijf meer dan $611bn elk jaar

(Bron: https://blog.zoominfo.com/the-effect-of-dirty-data-on-roi/)

je bent tenminste niet alleen. De vraag is wat je eraan kunt doen. Welke stappen kunt u nemen om de kwaliteit van uw gegevens te verbeteren, en ook uw data quality management processen op te lossen, zodat u niet last heeft van dezelfde problemen verderop in de lijn?

de 6 meest voorkomende problemen met de gegevenskwaliteit die uw organisatie hinderen

Hieronder staan de meest voorkomende problemen met de gegevenskwaliteit die de meeste organisaties ervaren, die u ervan weerhouden om de meeste waarde uit uw informatie te halen:

1) onvolledigheid: waar cruciale informatie ontbreekt

2) onnauwkeurigheid: alle informatie kan “aanwezig” zijn (of de gegevensvelden zijn ingevuld), maar het kan in het verkeerde veld worden ingevoerd, onjuist worden gespeld, of het veld bevat een ongewenste waarde

3) inconsistentie: gegevens die met dezelfde waarde / opmaak moeten worden gepresenteerd, zijn inconsistent (bijvoorbeeld door verschillende valuta ’s te gebruiken in plaats van dezelfde)

4) ongeldigheid: de velden zijn volledig, maar met gegevens die onmogelijk correct kunnen zijn in die context (bijv. “beschikbare eenheden” met een minwaarde)

5) redundantie: wanneer dezelfde gegevens meerdere keren worden ingevoerd, maar op enigszins verschillende manieren worden uitgedrukt (bijvoorbeeld het invoeren van dezelfde onderneming maar met verschillende namen, het invoeren van de naam van een persoon op verschillende manieren, enz.)

6) niet-standaardgegevens: informatie die wordt ingevoerd met behulp van niet-standaard formaten (of formaten die niet door het systeem kunnen worden verwerkt, bijvoorbeeld percentage in plaats van %)

hoewel deze problemen met de kwaliteit van de gegevens verre van ideaal zijn, zijn ze een belemmering genoeg om de inspanning te rechtvaardigen om grootschalige wijzigingen aan te brengen in de manier waarop uw organisatie haar gegevens beheert? Als het bedrijf ‘adequaat’ kan functioneren zonder zulke veranderingen aan te brengen, moet je dan gewoon doorgaan zoals voorheen en het beste doen met wat je hebt?

met andere woorden, wanneer moeten gegevenskwaliteitsprocessen worden geïmplementeerd (indien al)?

Wanneer moet u maatregelen voor gegevenskwaliteit implementeren?

in het algemeen moeten gegevenskwaliteitscontroles en-maatregelen worden ingevoerd wanneer er een zakelijke behoefte is en wanneer u een specifiek probleem moet oplossen. En zoals we allemaal weten, is er altijd een zakelijke behoefte in een of andere vorm, en er is altijd iets om naar te streven. Wat doen we anders allemaal hier?

hier zijn een paar redenen waarom u waarschijnlijk geïnteresseerd bent in het verbeteren van de kwaliteit van uw gegevens (of zou moeten zijn!):

1) Uw gegevens zijn een belangrijke strategische troef die u een concurrentievoordeel zal bieden als deze accuraat en bruikbaar zijn

2) u wilt gegevens uit verschillende bronnen in één centraal datawarehouse of-repository trekken, wat uiterst moeilijk (zo niet onmogelijk) zal zijn als de informatie niet gestandaardiseerd is

3) u wilt uw stamgegevens effectiever beheren

4) U bent van plan een nieuw systeem te implementeren of een systeemmigratie uit te voeren, bijvoorbeeld van een legacy-systeem of ERP naar een cloudgebaseerd systeem

zodra u de business case om gegevenskwaliteitsmaatregelen in te voeren-of anderen in uw organisatie ervan te overtuigen dat dit nodig is-dan moet het proces voor gegevenskwaliteitsmanagement zelf worden gedefinieerd. Maar wie is daar verantwoordelijk voor?

Wie is betrokken bij het gegevenskwaliteitsbeheerproces?

twee soorten rollen in het bijzonder zijn van cruciaal belang voor het succes van het proces van gegevenskwaliteit, namelijk:

Data stewards – zij zijn betrokken bij het profileren van de data en het opstellen van regels voor data standaardisatie en reiniging

ontwikkelaars – zij werken samen met data stewards en spelen een belangrijke rol bij het ontwerpen van data quality rules en het ontwikkelingsproces

beide rollen zullen nauw moeten samenwerken gedurende het implementatieproces, waarna de data stewards verantwoordelijk zullen zijn voor het bewaken van de kwaliteit van de informatie.

Wat is een proces voor kwaliteitsborging / beheer van gegevens?

het proces zelf omvat bepaalde fasen die data quality analisten en data stewards in het bijzonder zullen moeten voltooien, waaronder:

Data profiling – op dit punt zullen ze de gegevens moeten onderzoeken om een diepgaand inzicht te krijgen en problemen binnen het proces te identificeren, zoals de eerder beschreven (onvolledigheid, onnauwkeurigheid, enz.) alvorens de problemen samen te vatten.

Defining metrics-om een idee te krijgen van hoe wijdverbreid de dataproblemen zijn, terwijl ze ook benchmarks voor gegevenskwaliteit vaststellen, moeten ze statistieken registreren zoals hoeveel van de gegevens momenteel volledig is (% compleet), hoeveel consistent is (% consistent), geldig (% valid), enzovoort.

het herstellen van de gegevens – op dit punt, nadat problemen zijn geprofileerd en gebenchmarked, kan het proces van het reinigen van de informatie en het oplossen van de problemen beginnen.

het rechtstreeks aanbrengen van wijzigingen in de gegevens vormt echter een risico als de voorgestelde wijzigingen zelf onjuist zijn. Dit zou leiden tot een zeer rommelige en verwarrende situatie die nog moeilijker op te lossen is! Daarom is het het beste om geen wijzigingen direct aan te brengen in de database meteen.

in plaats daarvan moeten voorgestelde wijzigingen worden opgesomd en gedetailleerd voordat ze ter beoordeling aan een data steward worden doorgegeven, waarna ze ofwel worden goedgekeurd of afgewezen.Een van de onontkoombare aspecten van het werken met informatie – met name als het gaat om beheer van de gegevenskwaliteit, stewardship en governance – is dat het nooit een “one and done” – situatie zal zijn.

in plaats daarvan zullen de behoeften aan gegevenskwaliteit van uw organisatie in de loop van de tijd veranderen, en als gevolg hiervan zullen uw gedefinieerde regels ook in de loop van de tijd worden aangepast, vooral omdat de data stewards meer inzicht krijgen in de gegevens, veelvoorkomende problemen en hoe ze kunnen worden beperkt.

bovendien staat de gegevens zelf niet stil. De statistieken aan het begin van deze blog laten zien hoe vaak informatie zoals bedrijfsnamen, adressen en e-mailadressen verandert en wordt bijgewerkt, terwijl nieuwe gegevensbronnen zullen ook worden toegevoegd na verloop van tijd, wat betekent dat de behoefte aan stewardship en governance zal blijven.

dankzij de veranderende behoeften van de organisatie en de veranderende aard van de gegevens zelf, zult u zich ook periodiek vragen moeten stellen om ervoor te zorgen dat zelfgenoegzaamheid niet binnendringt en dat u proactief bent in plaats van reactief.

bijvoorbeeld::

  • verbetert de kwaliteit van uw gegevens in de loop van de tijd en werkt het datamanagementproces dus zoals bedoeld?
  • als de kwaliteit niet verbetert, moeten de regels dan worden bijgewerkt? Voldoen ze aan de huidige behoeften van uw organisatie?
  • indien en wanneer nieuwe gegevensbronnen worden toegevoegd, gelden de bestaande regels voor gegevenskwaliteit nog steeds of moeten deze dienovereenkomstig worden aangepast?

Geef een antwoord

Het e-mailadres wordt niet gepubliceerd.

lg