problemas de qualidade de dados

Se você está lendo isto, é porque provavelmente você está enfrentando problemas de qualidade de dados neste momento no tempo. Podemos estar bastante confiantes nesta presunção porque, na verdade, muitas organizações têm problemas com os seus dados que os impedem de atingir os seus objectivos.

basta olhar para algumas das figuras abaixo do ZoomInfo que mostram quão difundida é a questão dos “dados Sujos”:

  • 33% das empresas têm mais de 100.000 registros em seu banco de dados
  • 62% das organizações dependem de prospecção de dados, que é até 40% imprecisas
  • 34% das empresas alterar os seus nomes, anualmente
  • 15% de leads contidas dados duplicados
  • 7% das ligações contidas inválido e-mail/endereços físicos
  • 40% de objetivos de negócio falhar devido a dados incorrectos
  • 50% dos orçamentos de TI são gastos em dados de reabilitação
  • Bad dados de custos NOS negócios de mais de us $611bn cada ano

(Origem: https://blog.zoominfo.com/the-effect-of-dirty-data-on-roi/)

pelo menos não estás sozinha. A questão é: o que pode fazer? Que medidas você pode tomar para melhorar a qualidade de seus dados, e também corrigir seus processos de gerenciamento de qualidade de dados para que você não sofra dos mesmos problemas mais adiante?

O 6 mais comuns de problemas de qualidade de dados a dificultar a sua organização

Abaixo estão os mais comuns problemas de qualidade de dados que a maioria das organizações experiência, aqueles que vão impedi-lo de obter o máximo valor da sua informação:

1) Incompleto: onde crucial peças de informação estão em falta

2) Imprecisão: todas as informações podem ser ‘presente’ (ou os campos de dados preenchidos), mas ele pode ser introduzido no campo errado, digitado incorretamente, ou o campo contém um valor lixo

3) Inconsistência: dados que devem ser apresentados com o mesmo valor / formato é inconsistente (e.g. utilizando diferentes moedas em vez do mesmo todo)

4) Nulidade: os campos estão completos, mas com dados que não podem, eventualmente, ser correto em que contexto (e.g. “unidades disponíveis” exibindo um sinal de menos valor)

5) Redundância: onde os mesmos dados são inseridos várias vezes, mas expressa de maneiras ligeiramente diferentes (por exemplo, entrando na mesma empresa, mas com nomes diferentes, inserindo o nome de uma pessoa em diferentes formas, etc.)

6) Não-padrão de dados: informação que é introduzida usando formatos não-padrão (ou formatos que não podem ser processados pelo sistema, por exemplo porcentagem em vez de %)

enquanto estes problemas de qualidade dos dados estão longe de ser ideais, eles são suficientes de um obstáculo para justificar ir ao esforço de fazer mudanças grossistas na forma como a sua organização gere os seus dados? Se o negócio pode funcionar ‘adequadamente’ sem fazer tais mudanças, você deve simplesmente continuar como antes e fazer o melhor com o que você tem?

por outras palavras, quando devem ser implementados processos de qualidade dos dados (se de todo)?

quando deve aplicar medidas de qualidade dos dados?De um modo geral, os controlos de qualidade dos dados e as medidas devem ser postos em prática quando existe uma necessidade de negócio e quando é necessário resolver um problema específico. E como todos sabemos, há sempre uma necessidade de Negócio de uma forma ou de outra, e há sempre algo a apontar. Caso contrário, o que estamos todos a fazer aqui?

Aqui estão algumas razões pelas quais você está provavelmente interessado em melhorar a qualidade dos seus dados (ou deve estar!):

1) os dados são um importante ativo estratégico que irá fornecer-lhe uma vantagem competitiva se é preciso e utilizável

2) que Você deseja desenhar dados de diferentes fontes em um armazém de dados central ou repositório, o que será extremamente difícil (se não impossível) para fazer se a informação não estiver normalizada

3) Você deseja gerenciar seu mestre de dados de forma mais eficaz

4) Você está planejando para a implementação de um novo sistema ou realizar uma migração de sistema, por exemplo, de um sistema legado ou ERP para um sistema baseado em nuvem

uma Vez que você tenha identificado o business case for put data quality measures in place – or convinced others in your organisation of the need to-then the data quality management process itself will need to be defined. Mas quem é o responsável por isso?

quem está envolvido no processo de gestão da qualidade dos dados?

dois tipos de papel em particular são fundamentais para o sucesso do processo de qualidade dos dados, nomeadamente::

Dados mordomos – eles estão envolvidos em criação de perfil de dados e criação de regras para a padronização de dados e de limpeza

Desenvolvedores que colaboram com dados mordomos e desempenham um importante papel na concepção de qualidade de dados de regras e o processo de desenvolvimento

Ambas estas funções devem trabalhar em estreita colaboração durante todo o processo de execução, após o qual os dados mordomos será responsável por monitorar a qualidade das informações.

o que constitui um processo de garantia / gestão da qualidade dos dados?

o processo em si inclui certas fases que os analistas de qualidade dos dados e os administradores de dados, em particular, terão de completar, incluindo:

perfil dos dados – neste ponto, eles terão de explorar os dados a fim de obter uma compreensão aprofundada e identificar questões dentro dele, tais como as delineadas anteriormente (incompletude, impreciso, etc) antes de resumir as questões.

Definição de métricas para se ter uma idéia de quão disseminada dados os problemas são, ao mesmo tempo estabelecer dados referenciais de qualidade, eles terão de registro de métricas como quantidade de dados é atualmente completo (% concluído), o quanto é consistente (% consistente), válido (% válido) e assim por diante.

fixar os dados – neste ponto, após as questões terem sido traçadas e aferidas, o processo de limpeza da informação e fixação das questões pode começar.

no entanto, a introdução de alterações directamente nos dados representa obviamente um risco se as alterações sugeridas forem incorrectas. Isso levaria a uma situação muito confusa e confusa que é ainda mais difícil de consertar! Portanto, é melhor não fazer quaisquer alterações diretamente para o banco de dados imediatamente.

em vez disso, as alterações propostas devem ser listadas e detalhadas antes de serem passadas para um administrador de dados para revisão, após o que serão aprovadas ou rejeitadas.

evolução das necessidades e questões de qualidade dos dados a considerar

um dos aspectos incontornáveis do trabalho com a informação – particularmente no que se refere à gestão da qualidade dos dados, gestão e governação – é que nunca será uma situação “única e acabada”.

em vez disso, as necessidades de qualidade dos dados da sua organização vão mudar ao longo do tempo, e como resultado disso as suas regras definidas também serão reajustadas ao longo do tempo, especialmente porque os administradores de dados ganham uma maior compreensão dos dados, problemas recorrentes comuns e como mitigá-los.

além disso, os dados em si não estão parados. As estatísticas no início deste blog mostram com que frequência as informações como nomes de empresas, endereços e endereços de E-mail mudam e são atualizadas, enquanto novas fontes de dados também serão adicionadas com o passar do tempo, o que significa que a necessidade de administração e governança vai continuar.

graças às necessidades em mudança da organização, e à natureza em mudança dos dados em si, Você também precisará periodicamente fazer perguntas a si mesmo para se certificar de que a complacência não se infiltra e que você está sendo proativo, ao contrário de reativo.

por exemplo, estes podem incluir os seguintes:

  • a qualidade dos seus dados está realmente a melhorar ao longo do tempo e, por conseguinte, o processo de gestão de dados está a funcionar como previsto?Se a qualidade não melhorar, será necessário actualizar as regras? Estão a satisfazer as necessidades actuais da sua organização?Se e quando forem acrescentadas novas fontes de dados, as regras de qualidade dos dados existentes continuam a ser aplicáveis ou terão de ser adaptadas em conformidade?

Deixe uma resposta

O seu endereço de email não será publicado.

lg