データ品質の問題

これを読んでいるのであれば、おそらく現時点でデータ品質の問題が発生しているからです。 真実は、多くの組織がデータに問題があり、目標に到達できないようにしているため、この推定についてかなり自信を持っています。

以下のZoomInfoのいくつかの図を見て、”ダーティデータ”の問題がどれほど広範囲に広がっているかを示しています:

  • 33% 企業のデータベースに100,000以上のレコードがある
  • 組織の62%がプロスペクトデータに依存しており、最大40%不正確
  • 企業の34%が毎年名前を変更
  • リードの15%が重複データ
  • リードの7%が無効な電子メール/物理アドレスを含んでいる
  • ビジネス目標の40%が失敗している。不正確なデータ
  • IT予算の50%がデータの修復に費やされている
  • 不正なデータは、米国企業が毎年more611bn以上の費用がかかります

(ソース: https://blog.zoominfo.com/the-effect-of-dirty-data-on-roi/)

だから、少なくともあなたは一人ではありません。 問題は、あなたがそれについて何ができるかですか? データ品質を改善し、データ品質管理プロセスを修正して、同じ問題にさらに悩まされないようにするには、どのような手順を実行できますか?

組織を妨げる6つの最も一般的なデータ品質の問題

以下は、ほとんどの組織が経験する最も一般的なデータ品質の問題です。

1)不完全さ: 重要な情報が欠落している場合

2)不正確さ:すべての情報が”存在”(または入力されたデータフィールド)である可能性がありますが、間違ったフィールドに入力されたり、誤ってスペルされたり、フィールドにジャンク値が含まれている可能性があります

3)不整合:同じ値/形式で提示されるべきデータが矛盾しています(例えば、同じ通貨ではなく異なる通貨を使用しています)

4)無効性:同じ値/形式で提示されるべきデータが矛盾しています(例えば、同じ通貨ではなく異なる通貨を使用しています)。フィールドは完全ですが、そのコンテキストでは正しくない可能性のあるデータがあります(例: “利用可能な単位”マイナス値を表示する)

5)冗長性:同じデータが複数回入力されているが、わずかに異なる方法で表現されている場合(例えば、同じ会社に入るが、名前が異なる、人の名前を異なる方法で入力するなど)

6)非標準データ:

これらのデータ品質の問題は理想的ではありませんが、組織のデータ管理方法を大幅に変更する努力を正当化するのに十分な障害はありますか? ビジネスがそのような変更を加えないで”十分に”作用できればちょうど前にように続けていき、持っているものとのベストをするべきであるか。

言い換えれば、データ品質プロセスはいつ実装されるべきですか(もしあれば)?

データ品質対策はいつ実施すべきですか?

一般的に言えば、ビジネス上のニーズがあり、特定の問題を解決する必要がある場合には、データ品質管理と対策を実施する必要があります。 そして、私たち全員が知っているように、ビジネスのニーズは常に何らかの形であり、常に目指すべきものがあります。 それ以外の場合は、我々はすべてここで何をしていますか?

ここでは、データの品質を向上させることに興味がある可能性が高い理由をいくつか示します(またはそうする必要があります!):

1)データが正確で使用可能であれば、競争上の優位性を提供する主要な戦略的資産である

2)異なるソースからデータを一つの中央のデータウェアハウスまたはリポジトリーに引き出したいが、情報が標準化されていない場合は、

3)マスターデータをより効果的に管理したい

4)実装することを計画している新しいシステムや、レガシーシステムやerpからクラウドベースのシステムへのシステム移行などを実行する

あなたが特定したら、システムの移行を実 データ品質対策を実施したり、組織内の他の人に必要性を納得させたりするためのビジネスケースでは、データ品質管理プロセス自体を定義する必要があ しかし、誰がそれを担当していますか?

データ品質管理プロセスに関与しているのは誰ですか?

データ品質プロセスの成功には、特に2種類の役割が重要です。:

データスチュワード–彼らはデータのプロファイリングとデータの標準化とクレンジングのためのルールの作成に関与している

開発者–彼らはデータスチュワードと協力し、データ品質ルールと開発プロセスを設計する上で重要な役割を果たしている

これらの役割の両方は、実装プロセス全体にわたって緊密に協力する必要があり、その後、データスチュワードは情報の品質を監視する責任がある。

データ品質保証/管理プロセスを構成するものは何ですか?

プロセス自体には、データ品質アナリストおよびデータスチュワードが特に完了する必要がある特定の段階が含まれています。

データプロファイリング–この時点で、問題を要約する前に、以前に概説したもの(不完全、不正確なものなど)など、データを深く理解し、その中の問題を特定するためにデータを探索する必要があります。

メトリックの定義–データの問題がどれほど広範囲に及ぶかを知るためには、データ品質ベンチマークを確立する一方で、現在どのくらいのデータが完了しているか(%complete)、どのくらいの一貫性があるか(%consistent)、有効なか(%valid)などのメトリックを記録する必要があります。

データの修正–この時点で、問題がプロファイルされ、ベンチマークされた後、情報をクレンジングして問題を修正するプロセスを開始できます。

しかし、提案された変更自体が間違っている場合、データに直接変更を加えることは明らかにリスクをもたらします。 これは非常に厄介で混乱した状況につながり、修正するのがさらに困難になります! したがって、すぐにデータベースに直接変更を加えないことをお勧めします。

代わりに、提案された変更は、レビューのためにデータスチュワードに渡される前にリストされ、詳細に記載されるべきであり、その後、それらは承認されるか否かのいずれかになります。

進化するデータ品質のニーズと問題

情報を扱うことの避けられない側面の一つ、特にデータ品質管理、スチュワードシップ、ガバナンスに関しては、それが決して”一

代わりに、組織のデータ品質のニーズは時間の経過とともに変化し、その結果、特にデータスチュワードがデータ、一般的な繰り返しの問題、およびそれらを軽減す

しかも、データ自体は静止していない。 このブログの開始時の統計は、会社名、住所、電子メールアドレスなどの情報がどのくらいの頻度で変更され、更新されるかを示していますが、時間が経つと新しいデータソースも追加され、スチュワードシップとガバナンスの必要性が継続されることを意味します。

組織のニーズの変化とデータ自体の性質の変化のおかげで、あなたはまた、自己満足が忍び寄ることはなく、反応性ではなく積極的であることを確認す

たとえば、これらには次のものが含まれます:

  • データの品質は実際には時間の経過とともに改善されているため、データ管理プロセスは意図したとおりに機能していますか?
  • 品質が改善されていない場合、ルールを更新する必要がありますか? 彼らはあなたの組織の現在のニーズを満たしていますか?
  • 新しいデータソースが追加された場合でも、既存のデータ品質ルールは適用されますか、それともそれに応じて調整する必要がありますか?

コメントを残す

メールアドレスが公開されることはありません。

lg