implementando el modelo multidimensional

Business Intelligence

Agenda

• Analysis Services.

• Desarrollo de un proyecto de Analysis Services con BIDS.

• Dimensiones.

• Tipos de dimensiones.

• Propiedades de dimensiones.

• Procesamiento de Dimensiones.

• Medidas y grupos de medidas.

• Funciones de agregaciones.

• Otras Propiedades.

• Seguridad OLAP.

• Modos de Almacenamiento.

• Minería de datos.

Analysis Services

• ¿Qué es Analysis Services?

•Componentes de SQL Server Analysis Services.

•Alcance de SQL Server Analysis Services.

•Modelo lógico de una solución de BI (UDM).

•Vista de Análisis Multidimensional.

¿Qué es Analysis Services?

Es un conjunto de componentes fáciles de

usar, integrados y escalables que le

permiten a los usuarios un mejor acceso a

los datos de su negocio y una forma mas

eficiente de realizar análisis y

proyecciones.

¿Qué es Analysis Services?

Microsoft SQL Server Analysis Services

(SSAS) ofrece funciones de procesamiento

analítico en línea (OLAP) y minería de

datos para aplicaciones de Business

Intelligence (BI).

Componentes de SQL Server Analysis Services

Proyecto

Data Source

Data Source View

Dimensiones

Medidas

Relaciones entre Medidas y Dimensiones

Medidas Calculadas ,Scripts,Indicadores y

Acciones

Particiones y Agregaciones

Perspectivas y Translaciones

Roles

Alcance de SQL Server Analysis Services

Tableros de

Control

Reportes

sofisticados

Herramientas de

BI

Hojas de Cálculo

Reportes Ad-Hoc

SQL Server

Teradata

SQL Server

OracleDB2

SQL ServerLOB

DW

Data mart

Una sola versión de la verdad

Enriquecimiento de datos y análisis avanzado

Tiempo-Real y alto rendimiento

Misión crítica

Analysis Services

Excel 2007

Report

Builders

2.0

Reporting

Services

2008

+ herramientas de terceros

Alcance de SQL Server Analysis Services

Analysis

Services

Datamart

Y

DataWarehouse

Minería

de datos

Modelo lógico de una solución de BI (Unified Dimensional Modeling)

XM

L/A

or

OD

BO

BI Applications

Reporting

Tool (1)

OLAP

Browser (2)

OLAP

Browser (1)

Reporting

Tool (1)

HerramientasFuente de Datos

DWUDM

Analysis

Services

Cache

Desarrollo de un proyecto de AS con BIDS

• Proyecto.

•Data source.

•Data source View.

•Named Calculated.

ProyectoContenedor de objetos de la Solución

Se define Nombre y

Locación de la

Solución

Nos permite la creación de

la Base de Datos OLAP

DataSourceIndica la forma de acceso a la Fuente de Datos

Se define el Nombre del

Proveedor, Servidor y forma

de acceso

El origen de datos NO es

indispensable que sea SQL

DataSource ViewSe establece la relaciones lógicas entre objetos.

Muestra todos los objetos

que se usaran en la solución.

Se puede modificar la

relación de las tablas o

vistas

Named Calculations.Sólo afectan al data source view.

• En ocasiones, las columnas de una tabla de dimensión no proveen la información en el formato requerido para el datamart.

• Los named calculations no afectan la estructura del origen de datos.

Creación de:

Demo

•Data Source

•Data Source View

Dimensiones

•Tipos de Dimensiones .

•Definición de Atributos.

•Jerarquías y niveles.

Tipos de dimensiones

• Dimensiones standard

• Dimensiones Time

• Dimensiones Parent - Child

• Dimensiones snowflake

Dimensión standardTipo default de dimensión.

Propiedades:

• Name: Nombre de la dimensión.

• KeyColumns: Columna(s) de clave para la

dimensión.

• NameColumn: Columna que proporciona el

valor mostrado en la dimensión al consultar

datos.

Propiedades:

• Name: Nombre de la dimensión.

Propiedades:

• Name: Nombre de la dimensión.

• KeyColumns: Columna(s) de clave para la

dimension.

Creación de una dimensiónstandard

Demo

Dimensiones Parent – ChildRelaciones recursivas

• Se basan en relaciones recursivas existentes en una tabla de dimensión.

• Otros ejemplos son: Jerarquías de mando, organigramas, etc.

Creación de una dimensiónParent - child

Demo

Dimensión Timepropiedades especiales

• La mayoría de soluciones de BI utilizan una dimensión para almacenar intervalos de tiempo.

• SSAS le otorga propiedades especiales a las dimensiones Time, para permitir el uso de funciones MDX de búsqueda avanzada.

Creación de unadimensión Tiempo

Demo

Dimensión Snowflakepropiedades especiales

• Relación entre 2 tablas para formar una dimensión

Creación de unadimensión Snowflake

Demo

Atributos y DimensionesCada atributo proviene de una columna de la tabla de dimensión.

• La dimensión captura todo lo quepodamos conocer acerca de una entidada través de los atributos.

• Cada atributo proviene de una columna de la tabla de dimensión.

Creamos una dimensión en

base a una tabla ,vista

Jerarquías y nivelesCada jerarquía estas formada por niveles

• Las jerarquías son una sencilla vía para navegar a través de los atributos

• Una jerarquía puede encadenar múltiples atributos para describir drill-down

•Miembro All

•Default member

•Attribute relationship

Propiedades de Dimensiones

El miembro “All” y el default member.Propiedades de los atributos

El miembro ALL se agrega por defecto a los miembros de todo atributo.

• La propiedad AttributeAllMemberName de la dimensión permite personalizar el nombre del miembro All.

• La propiedad DefaultMember indica qué miembro se utiliza en un atributo, cuando las consultas no lo especifican de forma explícita

Atributte RelationshipLas relaciones entre atributos se establecen de acuerdo a la granularidad y de uno a muchos

El sentido de la flecha indica el nivel de granularidad

Miembro “all”, defaultmember y attributerelationship

Demo

Procesamiento de dimensiones

•Tipos de Procesamientos.

Procesamiento de DimensionesProcesar las dimensiones nos permite ver la información

Siempre que se modifique

atributo o jerarquía de la

dimensión se debe usar FULL

PROCESS

PROCESS UPDATE en caso se

haya modificado la información

Permite cargar la información de

las dimensiones.

Procesamiento de dimensiones

Demo

Medidas y grupos de medidas

•Medidas.

•Funciones de agregación.

•Grupos de medidas.

•Role playing

•Relaciones entre medidas.

MedidasRepresenta todo lo que el usuario desea medir (cantidades, montos)

Generalmente es una

tabla con valores

numéricos

Funciones de AgregaciónSe debe de establecer el nivel de agregación de cada medida

Por defecto siempre es SUM

Los nombres de las medidas

deben ser significativos al usuario

Grupos de MedidasPermiten alojar medidas desde múltiples tabla de hechos en un mismo cubo

• Permiten alojar medidas desde múltiples tabla de hechos en un mismo cubo

• Pueden ser agrupadas en Perspectivas, orientadas a las necesidades del negocio

Demo

•Medidas.•Grupos de medidas.•Funciones de Agregación.

Relaciones entre medidas y dimensionesPueden ser Regular, Fact, Referenced, Many to Many

•Todo Grupo de Medidas por lo menos debe estar relacionado a una dimensión

•Nos indica el nivel de granularidad entre la dimensión y la medida.

Relaciones entre medidas y dimensionesREGULAR

•Los campos a relacionarse

deben estar contenidos en la

FACT

• Se relaciona directamente

entre la FACT y la Dimensión

Role Playing DimensionCaso especial

• En ocasiones, una dimensiónparticipa múltiples veces en el mismocubo, desempeñando distintos roles.

Role Playingejemplo

1era OpciónRole playing

1era OpciónRole playing

2da OpciónRole playing

2da OpciónRole playing

3era OpciónRole playing

3era OpciónRole playing

Relaciones entre medidas y dimensionesREFERENCE

La granularidad de la

dimensión intermedia es

mayor a la dimensión

que se referencia

Representa a una

dimensión de tipo

SNOWFLAKE

Se relaciona

utilizando una

dimensión intermedia.

Relaciones entre medidas y dimensionesFACT

Se usa cuando se

necesita ver el detalle

de cada registro

Dimensiones

degeneradas

Relaciones entre medidas y dimensionesMANY TO MANY

Estas relaciones se

implementan a través

de una tabla de

hechos intermedia.

Demo

•Tipos de relaciones

•Calculations.

•Scripts.

•KPI.

•Actions.

•Particiones y agregaciones.

•Perspectivas.

•Translations.

Otras Propiedades

CalculationsRepresentan cálculos adicionales a las medidas existentes (Expresiones MDX)

KPI FrameworkManejo de indicadores claves del negocioActionsPermite visualizar los detalles de la información analizada por EXCEL, Reporting, etc.ParticionesNos permite mejorar el tiempo de proceso del cuboAgregacionesNos permite mejorar el tiempo de respuesta del cubo

PerspectivasNos permite focalizar las necesidades del consumidor de la solución

TraduccionesNos permite modificar el idioma de la solución

Demo

•Calculations.

•KPI’s.

•Actions.

•Particiones.

•Agregaciones.

•Perspectivas.

•Traducciones.

•Roles y funciones.

Roles de Seguridad

Roles o FuncionesNos permite establecer el acceso a la base de datos y a la seguridad del cubo

Nos permite

establecer el acceso

a la base de datos y a

la seguridad del cubo

Roles o FuncionesSeguridad a la Base de Datos

Solo el administrador debe

de tener acceso a la Base

de Datos

A los consumidores de la

solución se les da acceso

de READ

Funciones y roles

Demo

Modos de Almacenamiento

•MOLAP

•ROLAP

•HOLAP

Modo de almacenamiento

El modo de almacenamiento (MOLAP, ROLAP y HOLAP) define la manera en que se almacenan en disco las particiones de un cubo.

Es completamente transparente a los clientes.

modos de almacenamiento

Demo

Mineria de Datos

Conceptos Generales.

¿Qué es minería de Datos?

• La minería de Datos nos da el acceso a la información que necesitamospara tomar decisiones inteligentes acerca de problemas difíciles del negocio.

¿Qué hace la Minería de Datos?

Explora

Nuestra DataEncuentra

Patrones

Realiza

Predicciones

70

Visión DM SQL Server 2008

SQL 2008

OLAP

Reports (Adhoc)

Reports (Static)

Data Mining

Conocimiento del Negocio

Easy Difficult

Usabilidad

Va

lor

Re

lati

vo

de

l N

eg

oc

io

Posibles Problemas a Resolver

1. Análisis de CHURN._ ¿Qué clientes se pueden ir con la competencia?

2. Ventas Cruzadas._ ¿Qué productos le gusta comprar a los clientes?

3. Detección de Fraude._ ¿Este patrón de comportamiento se sale de los límites normales?

4. Administración de Riesgo._ ¿El préstamo debería ser aprobado para este cliente?

5. Segmentación de Clientes._ ¿Quiénes son mis clientes?

6. Anuncios Dirigidos._ ¿Qué anuncios deberían ser mostrados para un cliente específico?

7. Pronosticar Ventas._ ¿Cuántos vinos venderemos la próxima semana en esta tienda? ¿Cuál será el inventario del próximo mes?

72

Algoritmos de Mineria de Datos

Decision Trees Clustering Time Series

Sequence

ClusteringAssociation

Naïve Bayes

Neural Net

Detección de patrones de

comportamiento dentro de

documentos para

detección de fraudes

Text Mining

Tareas en Data Mining

• Clasificación

• Regresión

• Segmentación

• Asociación

• Pronósticos

• Análisis de Texto

• Clasificación

• Regresión

• Segmentación

• Asociación

• Pronósticos

• Análisis de Texto

Tareas en Data Mining

• Preguntas típicas de Negocio– ¿Qué tipo de tarjeta de membresía

debería ofrecer?

– ¿Qué clientes responderán a mi correo directo?

– ¿Es esta transacción fraudulenta?

– ¿Perderé a este cliente?

– ¿Será este producto defectuoso?

• Algoritmos– Preferidos

• Árboles de decisión

• Naïve Bayes

• Redes Neuronales

– Además• Clustering

• Sequence Clustering

• Reglas de Asociación

• Preguntas Típicas de Negocio– ¿Cuántos Ingresos obtendré de

este cliente?

– Cuanto tiempo estará este activo en servicio?

• Algoritmos– Preferidos

• Árboles de decisión

• Redes Neuronales

– Además• Clustering

• Sequence Clustering

• Clasificación

• Regresión

• Segmentación

• Asociación

• Pronósticos

• Análisis de Texto

Tareas en Data Mining

• Preguntas Típicas de Negocio

– Describe mi Cliente

– ¿Cómo puedo diferenciar mis clientes?

– ¿Cómo puedo organizar mis datos de tal forma que tenga sentido?

• Algoritmos

– Preferidos• Clustering

• Sequence Clustering

– Además• Redes Neuronales

• Clasificación

• Regresión

• Segmentación

• Asociación

• Pronósticos

• Análisis de Texto

Tareas en Data Mining

• Preguntas Típicas de Negocio

– Análisis de Canasta de

mercado/Venta Cruzada

– ¿Qué Ítems se compran juntos?

– ¿Qué productos debería

recomendar a mi cliente?

• Algoritmos

– Preferidos

• Reglas de Asociación

• Árboles de Decisión (Catálogos

pequeños)

– Además

• Clustering, Sequence Clustering,

Naïve Bayes, Redes Neuronales

• Clasificación

• Regresión

• Segmentación

• Asociación

• Pronósticos

• Análisis de Texto

Tareas en Data Mining

• Preguntas Típicas de Negocio

– Cual es el ingreso proyectado

para todos los productos?

– ¿Cuáles serán los niveles de

inventario para el próximo

mes?

• Algoritmos

– Series de Tiempo

• Clasificación

• Regresión

• Segmentación

• Asociación

• Pronósticos

• Análisis de Texto

Tareas en Data Mining

• Análisis de Datos no-estructurados

– Extracción de términos y/o frases

claves

– Conversión a datos estructurados

– Alimentar otros algoritmos

• Classification

• Segmentation

• Association

• Preguntas Típicas de Negocio

– ¿Cómo manejar los datos del call

center?

– ¿Cómo clasificar el correo?

– Qué puedo hacer con la

retroalimentación del Web?

• Clasificación

• Regresión

• Segmentación

• Asociación

• Pronósticos

• Análisis de Texto

Tareas en Data Mining

Algorithm Matrix

Time Series

Sequence

Clustering

Neural Nets

Naïve Bayes

Logistic

Regression

Linear

Regression

Decision

Trees

Clustering

Association

Rules

¿Qué determina a futuro que los graduados vayan a ingresar a la universidad?

¿Qué determina a futuro que los graduados vayan a ingresar a la universidad?

Asistir Universidad

55% Si

45% No

Asistir Universidad

79% Si

21% No

Asistir Universidad

94% Si

6% No

Asistir Universidad

69% Si

31% NoAsistir Universidad

35% Si

65% No

Observando el árbol nosotros podremos decir que los estudiantes con un

IQ mayor a 100 y con estimulo familiar tienen un 94% de probabilidad de

continuar sus estudios en la universidad.

Gonzalo apaza

Alain rojas

Luis Cabrel

Carlos Anchante

Carlos valderrama

Minería de Datos

Demo