1- modelamiento dimensional

8/19/2019 1- Modelamiento Dimensional

1/63

Bodegas de Datos y

OLAPModelamiento Dimensional

Parte I


2/63

Contenido

El caso para Modelamiento Dimensional

Arquitectura Bus del DW

Técnicas de Modelamiento Dimensional


3/63

Ciclo de vida:

Modelado Dimensional

*extraído y traducido: The Data Warehouse Lifecycle Toolkit: Expert Methods for Designing, Developing,and Deploying Data Warehouse. 1998


4/63

Modelo E/R

Captura las transacciones. Elimina la redundancia de datos. Analiza relaciones microscópicas entre los

elementos. Difíciles de consultar.

Un Sistema sencillo docenas de tablas, ERP miles detablas.

Se presenta la siguiente situación: Usuarios finales no lo entienden.

El software no puede consultar el modelo E/R general. No busca alto rendimiento en la consulta de datos.


5/63

Modelamiento Dimensional

Técnica de diseño lógico muy usada para DW. Marco de trabajo estándar intuitivo y permite altorendimiento.

Cada MD esta compuesto de: Una tabla de hechos.

Llave compuesta. Hechos numéricos que ocurren por la combinación de

llaves que define cada registro. Los hechos son aditivos:

Las aplicaciones de DW casi nunca recuperan un registro

de la tabla de hechos sencillo. Recuperan cientos, miles o millones de registros al tiempo

y los agregan.


6/63

Cada MD esta compuesto de: Un conjunto de tablas dimensiones (tablas pequeñas).

Cada una tiene una clave primaria sencilla quecorresponde a uno de los componentes de la llavecompuesta de la tabla de hechos.

Contienen información textual descriptiva, que son los

atributos de la dimensión. Los atributos son la fuente de la mayoría de

restricciones en las consultas del DW y son la fuente delos encabezados de fila en el conjunto de respuestas enSQL.

El poder del DW es proporcional calidad y profundidadde las dimensiones.

Modelamiento Dimensional


7/63

Esquema Estrella

*extraído: The data warehouse toolkit: The Definitive Guide to Dimensional Modeling. Ralph Kimball, Margy Ross.3th. Ed. Wiley Computer Publishing. 2013

Esquema Estrella Sencillo de entender por usuarios de negocios. Modelo dimensional implementado en una base de

datos relacional.


8/63

Esquema Estrella vs Cubo

Cubo OLAP. Modelo dimensional implementado en una base de

datos multi-dimensional. Las agregaciones o resúmenes pre-calculados son

creados y administrados por el motor OLAP. Mayor rendimiento. Uso de drill-down y drill-up sin tener que hacer nuevas

consultas. Provee funciones analíticas más robustas que

exceden SQL.

Se debe pagar el precio en recursos de estascapacidades. Se recomienda cargar el cubo desde un

esquema estrella.


9/63

squema stre a vsCubo



10/63

Fortalezas del MD Predecible.

Las restricciones de usuario final se toman de lastablas dimensiones, por lo tanto herramienta deusuario final deben proveer “browsing” a través de losatributos de una dimensión.

Las dimensiones son un punto de entrada simétricoen la tabla de hechos.

Extensible para acomodar nuevos elementos. No es necesario reprogramar las herramientas de

consulta y reportes. Las aplicaciones viejas continúan corriendo sin

producir resultados diferentes.


11/63

Fortalezas del MD Enfoques estándar para situaciones de

modelamiento comunes: Dimensiones que cambian lentamente.

Productos Heterogéneos. Diferentes líneas de negocio, con atributos y hechos

comunes, pero se necesita describir y medir las líneasde negocio individuales usando hechos no comunesentre estas líneas de negocios.

Tabla de hechos sin hechos (factless).

Crecimiento de utilidades administrativas yprocesos de SW que manejan el esquemaestrella y las agregaciones.


12/63

Arquitectura Bus del DW Enfoque Aislado.

Áreas de temas separadas.

*extraído: The data warehouse toolkit: The Definitive Guide to Dimensional Modeling. Ralph Kimball,Margy Ross. 3th. Ed. Wiley Computer Publishing. 2013


13/63

Arquitectura Bus del DW Enfoque monolítico.

Todo el DW. Inmon.

*extraído: The data warehouse toolkit: The Definitive Guide to Dimensional Modeling.Ralph Kimball, Margy Ross. 3th. Ed. Wiley Computer Publishing. 2013


14/63

Arquitectura Bus del DW Arquitectura Bus DW

Combinación de arquitectras. Kimball.

*extraído: The data warehouse toolkit: The Definitive Guide to Dimensional Modeling.Ralph Kimball, Margy Ross. 3th. Ed. Wiley Computer Publishing. 2013


15/63


Data Marts con una Arquitectura Bus. Una fase de Arquitectura de datos corta con:

Objetivos finitos y específicos. Implementación de Data Marts separados.

Cada implementación se adhiere estrechamente a laarquitectura. Lineamientos para equipos de desarrollo de DM.

La arquitectura de datos produce lineamientos específicosque los equipos de desarrollo de los Data Mart puedenseguir trabajando independientemente y asincrónicamente.


16/63


Data Marts con una Arquitectura Bus. Se debe hacer en dos pasos:

Crear una arquitectura que defina el alcance y laimplementación del DW completo.

Vigilar la construcción de cada pieza del DW completo.

La tarea más grande es diseñar el sistema deextracción que obtiene el dato desde la fuentes dedatos al área de Data Staging donde se transformanpara cargarlos en el DW final. La extracción es específica para cada fuente de datos

original. No importa si se piensa como una sola tarea o se divide enpiezas, se implementa un Data Mart a la vez.

El modelo E/R puede usarse para limpiar los datos delDW en el área de Data Staging.


17/63

Arquitectura Bus del DW Modelamiento Dimensional.

MD para empresas grandes. No. Esquemas estrella, entre 10 y 25 . Tablas dimensión de cada Esquema estrella, entre 5 y 15.

Situaciones: Modelos de 3 o 4 dimensiones son raros, por lo general falta

contemplar más dimensiones. Modelos de más de 20 dimensiones, usualmente tienen

dimensiones que pueden ser combinadas.

Aplicaciones “drill down” Añaden atributos dimensión en un Esquemas estrella.

Aplicaciones “drill across”: Enlaza TH separadas a través de dimensiones conformadas. Se recomienda que cada TH se consulte independientemente

(stitch and multipass query).


18/63

Arquitectura Bus del DW En la fase de arquitectura, antes de implementar

cualquier DM. Los objetivos son producidos como una colección de

DC y estandariza las definiciones de hechos. Este conjunto resultante de estándares es llamado la

“Arquitectura Bus del DW”. Dimensiones Conformadas (DC) y Hechos

Estándar: Cada DM es un conjunto de tablas de hechos. DC, dimensión que significa lo mismo en cada TH, es

la misma dimensión en cada DM (Ejemplos: cliente,producto, localización, tiempo, etc.).


19/63

Arquitectura Bus del DW Dimensiones Conformadas (DC) y Hechos

Estándar. Una responsabilidad fundamental del equipo de

diseño es establecer, publicar y mantener las DC. Sin una adecuada adherencia de las DC, el DW no

puede funcionar como un todo integrado. Las DC, hacen posible lo siguiente:

Una dimensión puede ser usada en múltiples tablas dehechos.

Interfaces de usuario y contenido de los datos sonconsistentes con la dimensión.

Hay una interpretación consistente de los atributos y sepuede hacer rollup (enrollarse hacia arriba) a través delos DM.


20/63


Diseñando las DC. Identificar y diseñar las DC.

DC definidas al mayor nivel posible de granular(atómico).

Dimensión cliente será el cliente individual. Dimensión tiempo usualmente será el día.

DC deben tener una clave anónima, que no sea laclave del sistema de producción de un sistema fuente,

porque los objetivos de estos sistemas son diferentesde los del DW. No se necesitan DC cuando las líneas de negocio son

muy diferentes.


21/63


Usando las DC. Los equipos de los DM deben usar las DC.

El compromiso es más que una decisión técnica, es

una decisión política del negocio que es clave para lafunción del DW empresarial.


22/63


Hechos conformados (HC). 80% DC y 20% HC. Usa misma terminología a través de DM y se

construyen reportes que atraviesan los diferentes DM.

Definidos en el mismo contexto dimensional y con lasmismas unidades de medida de un DM a otro. Ejemplo: Ingresos, ganancias, precios y costo estándar.

Un hecho con unidad de medida diferente en las TH,dificultad los reportes drill-across.


23/63


Importancia de la granularidad del DM. Las DC usualmente serán granulares. Las TH en cada DM debe tener el nivel más bajo de

las dimensiones.

Poder y flexibilidad en las TH granulares: Pueden ser extendidas adicionando nuevos hechos,

nuevos atributos de dimensión y toda una dimensión. Destino natural para datos operacionales actuales.

Hacer Data Mining para entender el comportamiento

del cliente, es menos efectivo sobre datos yaagregados. La arquitectura Bus DW la conforman las DC y

los HC.


24/63

Tablas de Hechos y Dimensiones

Cada tipo de dato del negocio puede serrepresentado como un cubo de dato donde. La celdas contiene valores medidos Los ejes del cubo definen las dimensiones naturales

de los datos. Las dimensiones surgen de la realidad del

ambiente del negocio.


25/63

Dimensiones Colección de atributos de texto que están

altamente correlacionados unos con otros ydescriben la dimensión.

Los atributos textuales que describen cosas sonorganizadas dentro de las dimensiones.

Se pueden combinar dimensiones, que no seanpesadas ni presente problemas de rendimiento. Ej: Combinar producto con almacén, si cada producto

es vendido en cada almacén, es el producto

cartesiano de las dos dimensiones y se hace muypesada.


26/63

Dimensiones

*extraído: The data warehouse toolkit: TheDefinitive Guide to Dimensional Modeling.Ralph Kimball, Margy Ross. 3th. Ed. WileyComputer Publishing. 2013


27/63

Dimensiones Ejemplo de jerarquías denormalizadas.



28/63

Atributos

Usualmente campos de texto, describen unacaracterística de algo tangible. Ejemplo: sabor de un producto, este atributo se

conoce de antemano. Si se crea un producto con unnuevo sabor, se crea un nuevo registro del producto.

Los atributos en tablas dimensiones son: Textuales. Con valores discretos. Fuente de restricciones de aplicación.

Filas de encabezado en el reporte final: Atributos dedimensión son candidatos iguales a ser encabezadosde fila.


29/63

Hechos

Usualmente algo que no es conocido deantemano.

Es una observación del mercado.

Son numéricos y pocos son valores de texto. Cualquier campo de dato numérico, puede

ser un hecho.


30/63

Dimensiones

Cómo decidir si una cantidad numérica es unhecho o un atributo de dimensión.

Generalmente observaciones numéricas. Con valores continuos, son medidas en la tabla de

hechos. Con valores discretos extraídos de una lista pequeña,

son atributos de dimensión.


31/63

Drill down y Drill up

DD es dar más detalle, adiciona encabezadosde fila específicos a una consulta, usualmentede un jerarquía específica.

El real DD mezcla atributos jerárquicos y no

jerárquicos. Casi siempre más de una jerarquía en una

dimensión. Drill up, es sustraer filas de encabezado,

sustraer las filas en el mismo orden en que seadicionaron.


32/63

Esquema Estrella Detallado


Detalle de dimensiones.


33/63

Browser

Un buen browser debe: Explorar una dimensión y las relaciones en esta.

Enumerar todos los valores distintos de un atributo.

Una solicitud debe ser afectada por restriccionesprevias en la sesión.

Salvar un conjunto de restricciones para ser usadovarias veces en el futuro en consultas y reportes.


34/63

Dimensión de Fecha

La dimensión fecha es especial.

Se recomienda una tabla estándar con granodiario que permita:

Describir el calendario Comparar días y semanas a través de los años, final

de períodos fiscales, etc.

Manejar calendarios multinacionales incluyendo

nombre del día, del mes y días de fiesta para todoslos países implicados.


35/63

Dimensión de Fecha


Ejemplo de datos de la dimensión tiempo.


36/63

Atributos de Alta-Calidad

La importancia de Atributos de Alta-Calidad. De los atributos dimensión sedice: Son los puntos de entrada en el DW. La interfaz de usuario muestra por lo general el

contenido de los atributos de la dimensión

La mayoría de restricciones parten de ellos.

La calidad del DW se mide por ellos.


37/63

Nombre y dirección

Algunos diseñadores colocan campos depropósito general: Nombre: Ms. R. Jane Smith, Atty Dirección1: 123 Main Rd, North West, Suite 100A Dirección2: PO Box 2348 Ciudad: Kensington Estado: Ark. Código de ZIP: 88887-2348 Número telefónico: 509-555-3333 x776 main, 555-

4444 fax.


38/63

Nombre y dirección

En el ejemplo anterior: No hay un mecanismo definido para saludos, títulos,

sufijos o para primer nombre.

Se usan abreviaciones. Los campos de dirección no garantizan la

concordancia con la autoridad de regulación postal.

Puede contener mail malos.


39/63

Nombre y dirección

Desglosar los nombres y direcciones con muchodetalle.

El sistema de extracción debe ejecutar parsingsobre los nombres y direcciones originalessucios. Y colocar banderas a los registros noconsistentes o elementos no reconocidos.

Las abreviaciones en los datos originales debenser reemplazadas con el texto completo.


40/63

Copo de Nieve Permisible Dimensión copo de nieve:

Campos de baja cardinalidad se remueven a tablasseparadas que se enlazan con la tabla original conclaves artificiales.

Generalmente no se recomienda, presentación delusuario más compleja y complicada.

Algunos diseñadores hacen copo de nieve y: El espacio que se salva es insignificante con respecto

al tamaño total del DW . Pasos extras de administración para crear y poblar las

llaves artificiales. Penalización del rendimiento (navegación) a través delos atributos.


41/63

Copo de Nieve Permisible “Sub-dimensiones” copo de nieve.

Sub-dimensión Demografía Atributos demográficos medidos para el condado

(nombre, cantidad y % población). Los clientes en el condado comparten un conjunto de

atributos idénticos.

Sub-dimensión demografía se permite por: El dato demográfico esta disponible como grano

diferente de la dimensión primaria (Cliente). Es administrado y cargado en diferente tiempo a la

dimensión primaria. Se salva bastante espacio en disco si la dimensión es

grande. Browser entre los atributos de la tabla demografía.


42/63

Dimensiones cambian lentamente

Ejemplos dimensión producto o cliente. Se asume que la clave del producto o del cliente no

cambia, pero cambia la descripción.

Para responder a estos cambios el DW:

Tipo 0: Conservar Original. El valor del atributo de la dimensión nunca cambia. Los hechos son agrupados siempre por el valor

original. Aplica para la mayoría de los atributos de la dimensión

Fecha. Atributos con etiqueta “Original”,

Ej:Puntaje del crédito original de la dimensión Cliente.


43/63


Para responder a estos cambios el DW: Tipo 1: Sobre-escribir.

El valor del atributo viejo para la fila de la dimensión sesobre-escribe con el nuevo valor.

Estos atributos siempre reflejan la asignación más

reciente, perdiendo así la historia. Es técnica es usada si el valor viejo del atributo no tiene

importancia o debería ser descartado. Es fácil de implementar, pero las TH agregadas y los

cubos OLAP afectados por este cambio son re-calculados.

La corrección de un error cae en esta categoría.


44/63

Dimensiones cambian lentamente Para responder a estos cambios el DW:

Tipo 2: Adicionar una nueva fila. Adiciona una nueva fila en la dimensión con los valores

de los atributos modificados. Para esta nueva fila se crea un nuevo valor de clave

sustituta. Técnica usada para monitorear un cambio de un

atributo en una dimensión. Ej.: cuando se realiza un cambio físico al producto y es

necesario partir la historia por las descripciones diferentes. Se deben agregar tres columnas:

Fecha de vigencia. Fecha de caducidad. Indicador de fila actual.

Di i bi l


45/63


Para responder a estos cambios el DW: Tipo 2: Adicionar una nueva fila.



46/63


Para responder a estos cambios el DW: Tipo 3: Adicionar un Nuevo atributo.

Crear un nuevo atributo en la dimensión, para preservarel valor del atributo viejo.

No se presenta un cambio que divida la historia delproducto. Usada cuando un cambio es “suave” o provisional, o se

quiere conservar el valor viejo y nuevo del atributo. El valor viejo del atributo se coloca en un atributo “old” y

el valor nuevo del atributo en el campo actual. Le permite al usuario agrupar por el valor actual o por el

valor anterior.


47/63


Para responder a estos cambios el DW: Tipo 3: Adicionar un Nuevo atributo.



48/63


Para responder a estos cambios el DW: Tipo 4: Adicionar una Mini-Dimensión.

Cuando un grupo de atributos en una dimensión cambiarápidamente.

Estas dimensiones son llamadas “Dimensiones monstruosas que cambian lentamente”. Frecuentemente algunos atributos de dimensiones de

miles de millones de filas, son candidatos para ser mini-dimensiones.

Estas Mini-dimensiones tienen una clave primariapropia. Las claves de la dimensión y la mini-dimensión son

propagadas a las TH asociadas.


49/63


Para responder a estos cambios el DW: Tipo 4: Adicionar una Mini-Dimensión.



50/63


Para responder a estos cambios el DW: Tipo 5: Adicionar Mini-Dimensión y una sub-

dimensión Tipo 1. Conserva la historia de los valores de los atributos en la

Mini-dimensión. Reporta los hechos de acuerdo a los valores actuales,

por medio de la sub-dimensión. Esto es, una referenciatipo 1 de la dimensión base a la mini-dimensión.

La mini-dimensión y la sub-dimensión son una mismatabla.

El equipo de ETL debe sobre-escribir la referencia a lamini-dimensión, cuando el cambio actual asignadocambia.

Di i bi


51/63

Dimensiones cambian

lentamente Para responder a estos cambios el DW:

Tipo 5: Adicionar Mini-Dimensión y una sub-dimensión Tipo 1.


Di i bi l t t


52/63


Para responder a estos cambios el DW: Tipo 6: Adicionar Atributos Tipo 1 a una Dimensión

Tipo 2. Permite atributos históricos y actuales.

Aplica técnica Tipo 2 para historia de los atributos quecambian. Las filas de hechos pueden ser agrupadas por el valor

del atributo Tipo 2. Incluye atributos Tipo 1 para sobre-escribir el valor

actual. Los atributos Tipo1 se sobre-escriben en todas las filas

asociadas a la clave natural.

Di i bi l t t


53/63

Dimensiones cambian lentamente Para responder a estos cambios el DW:

Tipo 6: Adicionar Atributos Tipo 1 a una DimensiónTipo 2.

*extraído: The datawarehouse toolkit: TheDefinitive Guide toDimensional Modeling.Ralph Kimball, Margy Ross.3th. Ed. Wiley ComputerPublishing. 2013

Di i bi l t t


54/63


Para responder a estos cambios el DW: Tipo 7: Dimensión Tipo 1 y Tipo 2.

Permite consultar como fue y como es. La TH puede ser accedida como:

Dimensión Tipo 1, mostrando los valores más actuales. Dimensión Tipo 2, mostrando los perfiles históricos.

Claves sustituta y duradera de la dimensión son ubicadasen la TH.

Perspectiva Tipo 1: El indicador de la bandera actual se escoge como “Actual”.

La TH es enlazada vía clave durable. Perspectiva Tipo 2:

El indicador de la bandera actual no se restringe. La TH es enlazada vía clave primaria sustituta.


55/63


Para responder a estos cambios el DW: Tipo 7: Dimensión Tipo 1 y Tipo 2.

Estas dos perspectivas se despliegan como vistasseparadas en aplicaciones BI.



56/63


Revisar el libro de “The Microsoft DataWarehouse Toolkit : With SQL Server 2008 R2and the Microsoft Business Intelligence Toolset”,Chapter 2: Designing the Business ProcessDimensional Model, en el ítem “AdditionalDesign concepts and techniques”, ejemplo de“Slowly Changing Dimensions”. 2011.


57/63

Bibliografía

The Data Warehouse Lifecycle Toolkit: ExpertMethods

• for Designing, Developing, and Deploying Data

• Warehouses. Ralph Kimball, Laura Reeves, Margy

• Ross, Warren Thornthwaite. John Wiley & Sons, 1998.

The Microsoft Data Warehouse Toolkit: With SQL Server

2008 and the Microsoft Business Intelligence Toolset.

Joy Mundy and Warren Thornthwaite with Ralph Kimball.

John Wiley & Sons, Second Edition. 2011.

The Data Warehouse Lifecycle Toolkit: The Definitive Guide to

Dimensional Modeling. Ralph Kimball,

Margy Ross. 3th. Ed. Wiley Computer Publishing. 2013.

Fil d E b d d R t


58/63

Filas de Encabezados de Reportes



59/63

Jerarquías en una Dimensión

*extraído: The Data Warehouse Lifecycle Toolkit: Expert Methods for Designing, Developing, andDeploying Data Warehouse. 1998


60/63

Copo de Nieve

*extraído: The Data Warehouse Toolkit Second Edition: The Complete Guide to Dimensional Modeling. 2002


61/63

Subdimensión Demografía



62/63

Dimensión

Fecha

Estándar

*extraído: The Data Warehouse Toolkit SecondEdition: The Complete Guide to DimensionalModeling. 2002


63/63

Nombres y

Direcciones

CAMPO SaludoEstilo de SaludoNombre de Saludo InformalPrimer y segundo nombre

ApellidoSufijoNombre ÉtnicoGéneroTítuloRelaciónOrganizaciónSub OrganizaciónSegunda Sub OrganizaciónNúmero de la CalleNombre de la CalleTipo de CalleDirección

Apartado PostalSuiteCiudadDistritoSegundo DistritoEstadoPaísContinenteCódigo Postal PrimarioCódigo Postal SecundarioTipo de Código PostalCódigo del País TelefónicoCódigo de Área Telefónico

Número de TeléfonoExtensiónCódigo del País FaxCódigo de Área FaxNúmero de FaxE-mailSitio Web Autenticación de Llave Pública Autoridad del Certif icado

EJEMPLO Ms.ProfesionalJaneR. Jane

SmithJr.InglésFemenino Abogado Adminis trador legar de John Doe ABC InternacionalDivisión de PlaneaciónDepartamento de Análisis123MainRoad (Camino)Nor-oeste

2348100AKensingtonCornwallBerkeleyshire ArkansasEstado UnidosNorte América888872348Estado Unidos1509

[email protected] Tipo X.509Verisign

*extraído: The Data WarehouseLifecycle Toolkit: ExpertMethods for Designing,Developing, and Deploying DataWarehouse. 1998
mailto:[email protected]://www.abcgenint.com/http://www.abcgenint.com/mailto:[email protected]:[email protected]:[email protected]:[email protected]:[email protected]:[email protected]:[email protected]:[email protected]:[email protected]

1- modelamiento dimensional

Documents