Data Warehouse y Sistemas de Soporte a la Decisión

Un Enfoque Práctico

Hugo M. Castro

El Caso RapiServ es una empresa de

comidas rápidas con 20 locales que se distribuyen en tres zonas:

Capital Provincia de Buenos Aires Interior

RapiServ Sus menúes comprenden platos de

carne y pollo, papas fritas y una variedad de ensaladas y postres

Por supuesto ofrecen bebidas frías (gaseosas y agua mineral) y también bebidas calientes (té, café) y pastelería, principalmente a la mañana.

RapiServ Pero su plato distintivo es una

especialidad que recibe el nombre de Cordon Bleu, una comida con carne y verduras que tiene bastante aceptación.

RapiServ José, el

Presidente, dice: Hay que aumentar las ventas

RapiServ Mario, Director de

Marketing, se pregunta: ¿Qué podemos ofrecer a nuestros clientes?

RapiServ Para responder a esa pregunta,

Mario necesita saber: ¿Qué productos se venden más? ¿Qué sucursales venden mejor? ¿En qué horas hay más clientes? ¿Qué días de la semana son más

flojos?

RapiServ ¿Quién puede darle esa

información? Mario sabe que Sistemas procesa

los tickets de las sucursales en los procesos de stock de mercadería y contabilidad

Por eso se dirige a Carlos, Encargado de Sistemas

RapiServ Carlos, el

Encargado de Sistemas, recibe el pedido y estima que tendrá lista la información en un plazo de veinte días a un mes

RapiServ Mario pregunta:

¿Cómo un mes? ¿Acaso la información no está dentro de su computadora?

RapiServ

Carlos responde: Sí, los datos están en la computadora, pero no tienen la estructura adecuada para contestar esas preguntas

RapiServ Mario queda

convencido de que si los datos están guardados en la computadora tan difícil no debe ser obtener las respuestas que busca

RapiServ

Carlos queda convencido de que Mario siempre pide cosas diferentes y todo lo quiere para ayer

RapiServ

Este es el momento en que recurren a nosotros para que los ayudemos

RapiServ

Antes de actuar analicemos la situación

¿Dónde está el problema? Mario tiene razón en que los datos

están en la computadora Y Carlos tiene razón en que no es

fácil darles la forma que Mario necesita

RapiServ

Ambos hacen uso de los mismos datos, pero...

Mario necesita analizar la información para saber qué ocurre y tomar decisiones estratégicas

Carlos necesita llevar a cabo los procesos que requiere la operatoria diaria de la empresa

RapiServ

Hay una diferencia fundamental

A Carlos le basta con manejar datos

Mario necesita extraer información de esos datos

Cadena de Valores

DatosDatos• Sucursales• Poductos• Franjas Horarias• Estacionamiento• Servicio en auto

InformaciónInformación• La sucursal X está en el distrito Z de la zona W• El producto P cuesta $Q• La franja horaria 1 comprende las horas de la mañana

ConocimientoConocimiento• En la zona Capital hubo H• pedidos del producto X• En la franja horaria 1 se vende menos que en la 2

DecisiónDecisión• Hagan propaganda del producto X en la zona Capital• Estudien promociones para la franja horaria 1• Ofrezcan el servicio en auto en la zona Buenos Aires

El proceso de toma de decisiones

Se encuentran hechos destacados Se explican en términos de

negocios Se toman las decisiones

correspondientes

Una Nueva Estructura

Si los datos están en la computadora pero la forma no es la adecuada, la solución es

CREAR UNA BASE DE DATOS CON LA FORMA ADECUADA

Un Nuevo Tipo de BD

La base de datos con la estructura adecuada es lo que se denomina

DATA WAREHOUSE Es una base de datos separada de

los sistemas transaccionales e independiente de ellos.

Data Warehouse

Un Data Warehouse es una Base de Datos con una estructura

Orientada al negocio Integrada Variable en el tiempo No Volátil

Orientada al negocio

Organiza y presenta los datos desde la

perspectiva de los conceptos que maneja

la empresa (fecha, franja horaria,

producto, sucursal, ventas).

Los datos tienen el nivel de detalle y la

estructura que necesitan los que toman

decisiones

Integrada Se construye a partir de fuentes de

datos heterogéneas Bases de datos relacionales, archivos

planos, hojas de cálculo, documentos impresos

Se unifican denominaciones, codificaciones, formatos Limpieza Integración

Variable en el Tiempo El horizonte temporal del Data

Warehouse es más amplio que el de los sistemas transaccionales Vida útil de los datos Datos históricos

La fecha es un dato fundamental Marcación temporal

No Volátil En el Data Warehouse los datos no se

modifican

El Data Warehouse se renueva

Los datos permanecen intactos entre

renovaciones

Sólo existen dos operaciones Carga

Acceso

Data Warehouse UN DATA WAREHOUSE CONTIENE Información histórica

Para visualizar tendencias y efectuar comparaciones

Información consolidada Para acelerar la respuesta a las consultas

Las bases de datos más voluminosas son Data Warehouses

ProcesosExtracción, Transformación y Carga Extracción

Se eligen qué datos se van a llevar al DWh desde las diversas fuentes

Transformación Los datos se depuran, completan y transforman

Carga Los datos se ordenan, se consolidan, se calculan

los datos derivados, severifica la integridad y se incorporan al DWh

Este es un proceso repetitivo

Procesos

Explotación de datos Guardar y estructurar los datos en

un Data Warehouse es sólo parte de la tarea

Necesitamos analizar los datos para la toma de decisiones

Explotación de datos Herramienta de redacción de

informes orientada al usuario Empezamos por producir los

mismos informes que el profesional de negocios estaba recibiendo hasta ahora

Pero ahora él puede armarlos en forma interactiva

Informes Para obtener los informes no es

necesario escribir ningún programa

Lo puede definir el propio profesional de negocios

La herramienta que produce los informes está preparada para que él la utilice

Informes

El profesional de negocios decide Qué criterios de selección va a usar

sobre la base de datos Qué datos va a incluir en el informe Cómo se van a ordenar los datos Cómo se van a agrupar los datos

Informes Con estas herramientas queda

resuelto el problema de la producción de informes, pero Mario y su gente encuentran que

LAS RESPUESTAS GENERAN PREGUNTAS

Preguntas ¿Cómo se vende en cada sucursal

por franja horaria? ¿Qué productos se venden más en

las tardes? ¿Venden más las sucursales que

tienen servicio en el auto? ¿Y las que tienen estacionamiento?

Modelo de datos Modelo de Entidad-Relación

Orientado a la implementación de los procesos transaccionales

Tareas operativas Modelo dimensional

Orientado a las características del negocio (variables del negocio)

Tareas de análisis

Modelo dimensional Dimensiones

Variables del negocio Productos, sucursales, fechas

Medidas Valores numéricos Sumas, consolidaciones, operaciones

aritméticas

Modelo dimensional Cantidad de pedidos por fecha,

producto y sucursal

Pro

duct

oSu

cursa

l

Fecha

Dimensiones: Producto, Sucursal, FechaEstructura Jerárquica

Categoría Zona Año Subcategoría Distrito Trimestre

Producto Sucursal Mes Día

Cubo Es una forma de presentar los datos

al usuario No existe físicamente El usuario puede trabajar con los

datos como si existiera Es independiente de la forma en

que realmente se almacenan los datos

OLAP Sistemas transaccionales: OLTP T identifica transacciones

Sistema de Análisis: OLAP A identifica análisis

OLAP Es el proceso de almacenar y

administrar datos sobre la base de las variables del negocio (dimensiones), para permitir a los profesionales de negocios visualizarlos y analizarlos para entender cuál es su significado

Preguntas ¿Cómo se vende en cada sucursal

por franja horaria? ¿ Qué productos se venden más en

las tardes? ¿Venden más las sucursales que

tienen servicio en el auto? ¿Y las que tienen estacionamiento?

Navegación Cambio de dimensiones Cambio de ejes Cambio de forma de presentación Cambio de medidas Cambio de nivel de detalle

Drill down Drill up

Conexión con otras tablas de hechos Drill across

Conexión con tablas externas Drill through/Drill Out

Análisis OLAP

FECHA

ARTICULO

SUCURSAL

VENTAS

UNIDADES

TICKETS

DIMENSIONES MEDIDAS

AR

TIC

ULO

FECHA

Se elige la dimensión para las filasSe elige la dimensión para las columnasSe elige la medida a representar

Unidades vendidas por tipo de artículo durante 2004

“Drill down”: Mayor detalle sobre Comestibles

Unidades de comestibles vendidas por ciudad

“Drill down”: unidades de comestibles vendidas en sucursales de Capital

Tablero de Comando

Enfoque tradicional Indicadores financieros

Ventas Ganancias Cobranza Stock valorizado

El resto carece de importancia

Tablero de Comando

Enfoque tradicional No tiene en cuenta aspectos tales como

Relación con los clientes Análisis de los procesos internos Capacitación y crecimiento del personal

Descubrir esta falta demasiado tarde puede traer graves consecuencias

Tablero de Comando Integral (BSC)

Distintas perspectivas Fijación de objetivos

Máximo (ej. gastos) Mínimo (ej. ventas)

Establecimiento de metas y tolerancias

Tablero de Comando

Tablero de ComandoColores

Mínimo

MetaTolerancia

Máximo Meta Tolerancia

Tablero de ComandoPerspectivas (Cobranza, Ventas)

Tablero de Comando Indicadores

ComponentesComponentes

DataWarehouse

ExtracciónTransformaciónCargaRenovación

Motor OLAP

InformesConsultasOLAPData mining

Mecanismode

IntegraciónMetadatos

Fuentes de Datos

Explotación

Sirve para

Data Marts

BD Transaccionales

Otras Fuentes de Datos

Almacenamiento

Servidor OLAP

Metadatos

Son datos que describen objetos del data warehouse Estructura del Data Warehouse

Esquema, visiones, dimensiones, datos derivados, ubicación y contenido de los data mart

Datos sobre los datos Origen de los datos Validez de los datos (activo, histórico, eliminado) Información de control (estadísticas de uso, errores,

información de auditoría) Algoritmos que se usan para la consolidación Correspondencia entre datos operativos y los del data

warehouse Datos de Negocios

Definiciones de términos del negocio, dueños de los datos

Tres Alternativas

Data warehouse Recoge información de toda la empresa

Data Mart Sirve a un grupo específico de usuarios. Su alcance se

reduce a un área en particular (p.ej. Marketing) Independiente: Se genera a través de un proceso de ETL Dependiente : Se toma del Data Warehouse

Data warehouse virtual Se forma a partir de distintos Data Marts

¿Y ahora? Mario sabe que con OLAP puede

contestar todas las preguntas que puede formular, pero...

¿y las que no puede formular?

Preguntas ¿A qué clientes me conviene

ofrecer este nuevo producto? ¿Cuántos pedidos de pollo vamos a

recibir durante las vacaciones de invierno?

¿La compra de Cordon Bleu influye en la compra de papas fritas?

Preguntas

La respuesta a esas preguntas van a salir de un proceso llamado

DATA MINING

Data Mining Es un proceso automático que

permite extraer esquemas interesantes y no triviales de los datos y descubrir relaciones entre variables

Estamos ahogados en datos, pero sedientos de información

Selección yPreprocesamiento

Data Mining

Interpretación yEvaluación

Consolidación deDatos

Conocimiento

p(x)=0.02

Warehouse

Datos Originales

Esquemas y Modelos

Datos Preparados

DatosConsolidados

El Proceso de Data Mining

Ejemplo

Veamos cómo un modelo de Data Mining ayuda a Mario a contestar una de las preguntas que se formulaba

¿La compra de Cordon Bleu influye en la compra de papas fritas?

EjemploDel análisis del contenido de los tickets

surge que

De un total de 500.000 tickets Hay 60.000 que contienen Cordon Bleu Hay 40.000 que contienen papas fritas De esos tickets hay 30.000 que

contienen ambos productos

Ejemplo

En este caso:

¿Qué proporción de todos los tickets tienen Cordon Bleu y papas fritas?

30.000/500.000 o sea el 6% de los tickets

Ejemplo

Pregunta:

¿Qué proporción de clientes en general compra papas fritas?

40.000/500.000 o sea el 8%

Ejemplo

¿Qué proporción de los compradores de Cordon Bleu compran además papas fritas?

30.000/60.000 o sea que el 50% de los

compradores de Cordon Bleu piden papas fritas

Ejemplo La conclusión es que el empuje de

Cordon Bleu sobre las papas fritas es de 50/8 o sea 6,25

Esto quiere decir que la gente que compra Cordon Bleu compra 6,25 veces más papas fritas que el promedio de los clientes

Uso del Data Warehouse Tres clases de aplicaciones del Data Warehouse

Procesamiento de Información Consultas, análisis estadísticos sencillos, informes Tablas, diagramas, gráficos

Procesamiento Analítico Análisis multidimensional de datos Operaciones OLAP: slice-dice, drilling, rotaciones

Data mining Descubrimiento de esquemas ocultos Modelos analíticos: predicción, asociación,

segmentación

Potencial de Soporte a la Decisión

Alta Gerencia

Profesional de Negocios

Analista de Datos

Administrador de

Datos

Decisionesde Marketing

Presentación Visualización

Data MiningDescubrimiento de Información

Exploración de datos

Análisis Estadístico-Consultas-Informes

OLAP – Análisis Multidimensional

Data Warehouses / Data Marts

Fuentes de DatosPapel, Archivos Planos,Planillas de Cálculo, BD, OLTP

Inteligencia de Negocios

José

Mario

Carlos

RapiServ José, el

Presidente, obtiene la información que necesita en tiempo y forma

RapiServ Mario, Director de

Marketing, tiene a su gente analizando la información y no imaginando qué informes deberían pedir

RapiServ A Carlos, el

Encargado de Sistemas, también le mejoró la vida: ya no le llegan pedidos de marketing con plazos imposibles de cumplir

En Resumen La información adecuada En el plazo adecuado Para la persona adecuada

MEJORES DECISIONES

En Resumen

LA INTUICIÓN INFORMADA ES INSUPERABLE