problemas de calidad de datos

Si está leyendo esto, probablemente sea porque está experimentando problemas de calidad de datos en este mismo momento. Podemos estar bastante seguros de esta presunción porque, la verdad es que muchas organizaciones tienen problemas con sus datos que les impiden alcanzar sus objetivos.

Basta con mirar algunas de las siguientes figuras de ZoomInfo que muestran cuán extendido está el problema de los «datos sucios»:

  • 33% de las empresas tienen más de 100.000 registros en su base de datos
  • el 62% de las organizaciones dependen de datos de clientes potenciales que son hasta un 40% inexactos
  • el 34% de las empresas cambian sus nombres anualmente
  • el 15% de los clientes potenciales contenían datos duplicados
  • el 7% de los clientes potenciales contenían direcciones físicas/de correo electrónico no válidas
  • el 40% de los objetivos comerciales falla debido a datos inexactos
  • El 50% de los presupuestos de TI se gastan en rehabilitación de datos
  • Los datos defectuosos cuestan a las empresas estadounidenses más de 6 611 mil millones cada año

(Fuente: https://blog.zoominfo.com/the-effect-of-dirty-data-on-roi/)

Así que al menos no estás sola. La pregunta es ¿qué puedes hacer al respecto? ¿Qué pasos puede tomar para mejorar la calidad de sus datos y también corregir sus procesos de gestión de calidad de datos para que no sufra los mismos problemas más adelante?

Los 6 problemas de calidad de datos más comunes que obstaculizan su organización

A continuación se muestran los problemas de calidad de datos más comunes que experimenta la mayoría de las organizaciones, los que le impedirán sacar el máximo provecho de su información:

1) Incompletitud: donde faltan datos cruciales

2) Inexactitud: toda la información puede estar «presente» (o los campos de datos rellenados), pero podría ingresarse en el campo incorrecto, escribirse incorrectamente, o el campo contiene un valor basura

3) Inconsistencia: los datos que deben presentarse con el mismo valor / formato son inconsistentes (por ejemplo, el uso de monedas diferentes en lugar de la misma moneda)

4) Invalidez: los campos completo, pero con datos que posiblemente no sean correctos en ese contexto (p. ej. «unidades disponibles» que muestran un valor negativo)

5) Redundancia: donde los mismos datos se ingresan varias veces pero se expresan de maneras ligeramente diferentes (por ejemplo, ingresando la misma empresa pero con diferentes nombres, ingresando el nombre de una persona de diferentes maneras, etc.)

6) Datos no estándar: información que se introduce utilizando formatos no estándar (o formatos que el sistema no puede procesar, por ejemplo, porcentaje en lugar de %)

Si bien estos problemas de calidad de los datos distan mucho de ser ideales, ¿son un obstáculo suficiente para justificar el esfuerzo de realizar cambios masivos en la forma en que su organización administra sus datos? Si el negocio puede funcionar «adecuadamente» sin hacer tales cambios, ¿debería continuar como antes y hacer lo mejor con lo que tiene?

En otras palabras, ¿cuándo se deben implementar los procesos de calidad de datos (si es que se implementan)?

¿Cuándo debe implementar medidas de calidad de datos?

En términos generales, se deben implementar controles y medidas de calidad de datos cuando haya una necesidad empresarial y cuando necesite resolver un problema específico. Y como todos sabemos, siempre hay una necesidad empresarial de una forma u otra, y siempre hay algo a lo que aspirar. De lo contrario, ¿qué estamos haciendo todos aquí?

Aquí hay algunas razones por las que es probable que esté interesado en mejorar la calidad de sus datos (¡o debería estarlo!):

1) Sus datos son un activo estratégico importante que le proporcionará una ventaja competitiva si son precisos y utilizables

2) Desea extraer datos de fuentes dispares en un almacén o repositorio de datos central, lo que será extremadamente difícil (si no imposible) de hacer si la información no está estandarizada

3) Desea administrar sus datos maestros de manera más efectiva

4) Está planeando implementar un sistema nuevo o realizar una migración del sistema, por ejemplo, de un sistema heredado o ERP a un sistema basado en la nube

Una vez que haya identificado el caso de negocio para implementar medidas de calidad de datos, o convencer a otros en su organización de la necesidad de hacerlo, entonces deberá definirse el proceso de gestión de calidad de datos en sí. ¿Pero quién es responsable de eso?

¿Quién participa en el proceso de gestión de la calidad de los datos?

Dos tipos de funciones en particular son fundamentales para el éxito del proceso de calidad de los datos, a saber::

Administradores de datos: participan en la elaboración de perfiles de datos y la creación de reglas para la estandarización y limpieza de datos

Desarrolladores: colaboran con administradores de datos y desempeñan un papel importante en el diseño de reglas de calidad de datos y en el proceso de desarrollo

Ambos roles deberán trabajar en estrecha colaboración durante todo el proceso de implementación, después de lo cual los administradores de datos serán responsables de supervisar la calidad de la información.

¿Qué constituye un proceso de aseguramiento / gestión de la calidad de los datos?

El proceso en sí incluye ciertas etapas que los analistas de calidad de datos y los administradores de datos en particular tendrán que completar, incluyendo:

Perfil de datos: en este punto, tendrán que explorar los datos para obtener una comprensión en profundidad e identificar problemas dentro de ellos, como los descritos anteriormente (incompletos, inexactos, etc.) antes de resumir los problemas.

Definir métricas: para tener una idea de cuán extendidos están los problemas de datos, al tiempo que establecen puntos de referencia de calidad de los datos, necesitarán registrar métricas como la cantidad de datos que está completa actualmente (% completa), la cantidad que es consistente (% consistente), válida (% válida), etc.

Corrección de los datos: en este punto, después de que se hayan perfilado y comparado los problemas, puede comenzar el proceso de limpieza de la información y corrección de los problemas.

Sin embargo, hacer cambios directamente en los datos obviamente presenta un riesgo si los cambios sugeridos en sí mismos son incorrectos. Esto llevaría a una situación muy desordenada y confusa que es aún más difícil de arreglar. Por lo tanto, es mejor no realizar ningún cambio directamente en la base de datos de inmediato.

En su lugar, los cambios propuestos deben enumerarse y detallarse antes de pasarse a un administrador de datos para su revisión, después de lo cual serán aprobados o rechazados.

Necesidades cambiantes de calidad de los datos y preguntas a tener en cuenta

Uno de los aspectos ineludibles del trabajo con información, en particular cuando se trata de gestión de la calidad de los datos, administración y gobernanza, es que nunca será una situación «de una sola vez».

En su lugar, las necesidades de calidad de datos de su organización van a cambiar con el tiempo, y como resultado de esto, sus reglas definidas también se reajustarán con el tiempo, especialmente a medida que los administradores de datos obtengan una mayor comprensión de los datos, los problemas recurrentes comunes y cómo mitigarlos.

Además, los datos en sí no se quedan inmóviles. Las estadísticas al comienzo de este blog muestran con qué frecuencia la información, como los nombres de las empresas, las direcciones y las direcciones de correo electrónico, cambia y se actualiza, mientras que también se agregarán nuevas fuentes de datos a medida que pase el tiempo, lo que significa que la necesidad de administración y gobierno continuará.

Gracias a las necesidades cambiantes de la organización y a la naturaleza cambiante de los datos en sí, también tendrá que hacerse preguntas periódicamente para asegurarse de que la complacencia no se introduce y de que está siendo proactivo, en lugar de reactivo.

Por ejemplo, estos pueden incluir los siguientes:

  • ¿La calidad de sus datos mejora con el tiempo y, por lo tanto, el proceso de gestión de datos funciona según lo previsto?
  • Si la calidad no está mejorando, ¿es necesario actualizar las reglas? ¿Satisfacen las necesidades actuales de su organización?
  • En caso de que se añadan nuevas fuentes de datos, ¿seguirán aplicándose las normas de calidad de los datos existentes o deberán adaptarse en consecuencia?

Deja una respuesta

Tu dirección de correo electrónico no será publicada.

lg