consideraciones al construir una solución de master data management (mdm)
DESCRIPTION
Artemio es cofundador de TAE IT, empresa proveedora de servicios en tecnologías de información con operaciones en México, España, Estados Unidos y Reino Unido. Actualmente Artemio es director de Sullexis, empresa especializada en proveer servicios de consultoría para la gestión de datos en empresas. Artemio posee mas de veinte años de experiencia práctica como consultor, en los que ha participado en proyectos con un amplio rango de tecnologías (IBM Mainframe, Microsoft, Java, Oracle, Unix, Linux, Windows, MVS, OSX, iOS) y sectores industriales (finanzas, comercio, logística, energía, entre otros). Una de sus principales áreas de interés es la gestión de datos corporativos, lo que lo ha llevado a dedicar los últimos 10 años en proyectos de Data warehousing, Business Intelligence, Master Data Management y migración de datos.TRANSCRIPT
Master Data Management Consideraciones al implementar una solución a la medida
Artemio Mendoza García
-‐ CEO TaeIT US: -‐ [email protected]
-‐ CTO Sullexis: -‐ [email protected]
De acuerdo a David Loshin*, una iniciativa MDM trata de:
“crear un registro que, de manera única, enumere todas las instancias de una clase de objetos de
información, que son relevantes a una comunidad participante”
* Loshin David, Master Data Management, Morgan Kaufman, 2009
¿Qué es MDM?
MDM y el Fútbol Chicharito Hernandez México # 14
Chicharito Manchester
Little Pea Red Devils
Chicharito Hernandez Guadalajara #14
Javier Hernandez México # 14
El Chicharito
Golden Record (Golden Pea?)
Chicharito Hernández México # 14
Little Pea Manchester
Chicharito Red Devils
Chicharito Guadalajara #14
Javier Hernández México # 9
Javier Hernández Balcázar México #14 Manchester United F.C. #14
Diferente Clase de chícharo!
* Objetivo: compartir guias prácticas para construir soluciones MDM * Los consejos expuestos son el resultado de la experiencia personal * Los errores expuestos fueron cometidos previamente (mea culpa) * No es una guía exahustiva, sin embargo, abarca errores comunes * Interrumpir para compartir experiencias
Objetivo y premisas
Cuandrante mágico de Gartner
• MDM es una práctica Madura • Existen diversos proveedores de
soluciones en el mercado • Integrados a ERPS, uso “automático” de
dominios por módulos – CRM, HR, MM, etc • Especialización por dominios:
• Clientes • Proveedores • Materiales • Empleados
• Nuevos jugadores, tendencia hacia MDM ágil y multidominio
MDM a la Medida
Independientemente de si es conveniente o no, o si es económicamente viable, las soluciones a la medida existen en el mundo real
* Crear llaves artificiales (surrogate key) para todos los objetos provienientes de la fuente
* Identificar cada registro con el Sistema de Origen * CRM, ERP, Sistema de Crédito, Sistema de Ventas, etc
* Usar funciones hash para comparar registros existentes y para validar la integridad de datos * Agregar columnas de metadat para: * Fechas ingreso/update * Usuario que insertó/modificó * Motivo de cambio * Estado del registro (válido, inválido) * Borrado lógico
Consideraciones iniciales: ¡quick wins!
* Por razones técnicas y razones legales, todo cambio realizado a los datos debe ser auditable, mínimamente: * Cual era el valor original * Cual es el valor actual * Quien lo cambió * Motivo del cambio * Fecha de cambio
Usar Area de Landing/Staging
• El uso de Area de Staging y area de Landing facilita mantener la historia
• Si es necesario, crear llaves artificiales (surrogate keys) en Landing
* Evitar Modelos E-‐R complejos * Uso de Modelos Canónicos simples (tipo estrella)
Uso de modelos simples
Simple, fácil de leer, Entender y mantener Complejo, dificil de leer, de implementar
y mantener. Probablemente contiene transacciones
* Crear Golden Record como un registro artificial: !No Seleccionar un registro como Golden y descartar el resto!
* La clave consiste en crear clusters, y luego asociarlos a un Golden Record creado artificialmente. Fácil mantenimiento, sin perdida de datos * Los objetos similares se agrupan en clúster * Los objetos duplicados se marcan como duplicados y
(eventualmente) se resuelven en la fuente
Crear cluster, luego Golden Records
* En DWH (tradicional) : * !No modificar datos! * El objetivo es reportar lo que existe
* En MDM: * es perfectamente razonable, y esperado, que los datos de la
fuente sean erroneos (o incompletos). * Uno de los objetivos es encontrar esas inconsistencias y
corregirlas * Enviar datos erróneos a la fuente, uno de los objetivos a
mediano y largo plazo -‐ Harmonización.
Técnicas de DWH vs MDM
* Evitar la tentación de “recargar y reprocesar” el universo completo * Para los Data Stewards, verificar datos puede ser eterno * Posible consecuencia: deprecación no deseada/manejo complejo. * Posible fragmentación de datos
* ¿Que hacer? * Carga inicial con un SOE (Trusted Source) * Primer ronda de DQ & Match & Merge -‐ Golden * Segunda y tercer ronda -‐ publicar * Cargar siguiente fuente (s), y compara contra Golden * Solo cargar lo que haya cambiado (uso de Hash keys) * !Cuidar los datos que ya han sido cargados y validados!
Técnicas de DWH vs MDM
* Identificar Datos Maestros ¿tarea fácil?
son aquellos que no cambian (mucho) en el tiempo. Las transacciones son aquellas que existen durante un periodo del tiempo, son dinámicas, y ocurren sobre los datos maestros.
* Diferenciarlos, en la práctica, puede ser tarea complicada:
* Contratos: supermercado vs Agencia de Publicidad/compañías de reaseguros * Ordenes de Compra: ¿que pasa con blanket POs? – estáticas en naturaleza * Ciudades, estados, países – ¿datos de referencia? Para algunas empresas, existen países que son
creados artificialmente, o sus datos son enriquecidos en forma tal, que tienen que ser centralizado
* ¿Que pasa cuando se introducen Transacciones en la solución de Datos Maestros? * ¿esto nunca ocurre en la práctica? * ¿Como minimizar, por diseño, que esto suceda?
Master vs Transactional
* La implementación de una iniciativa de MDM es una solución que necesita ser planeada con cuidado * No importa el cuidado que se ponga al planear, seguramente habrá que modificar el diseño y re-‐trabajar los modelos * Por lo tanto, la mejor estrategia es aquella que nos permite adaptarnos rápidamente * ¿MDM ágil?
Conclusiones
¿Preguntas, comentarios?
“No vale la pena llegar a la meta si uno no disfruta del viaje”
-Roger Martínez
González