is.s3.c2.d1 componentes del-bi_i_v2

Pág. 1 SAPBI Máster en Consultoría

Business Intelligence SAP

IS-Introducción a SAP y

Business Intelligence Sesión 3 - Clase 2

SAPBI Máster en Consultoría

Business Intelligence SAP IS - Introducción a SAP y Business Intelligence

Sesión 3- Introducción a Business Intelligence

Clase 2- Componentes del Business Intelligence (I)

(18 Videos)

IS.S3.C2.D1

V2





CONTENIDO Sesión 3. Clase 2. Componentes del Business Intelligence (I)

1 – Datos, Información, Conocimiento IS.S3.C2.V1

2– Calidad del dato IS.S3.C2.V2

3– Modelo relacional IS.S3.C2.V3

4– Modelo Multidimensional IS.S3.C2.V4

5 – Conceptos de Tabla de Hecho y Dimensión IS.S3.C2.V5

6 – Concepto de indicador KPI IS.S3.C2.V6

7 – Componentes y tipos de base de datos multidimensionales IS.S3.C2.V7

8 - Componentes de Business Intelligence IS.S3.C2.V8

9 – Las fuentes de información IS.S3.C2.V9

10 – ETL – Introducción IS.S3.C2.V10

11 – ETL - Extracción IS.S3.C2.V11

12 – ETL - Transformación IS.S3.C2.V12

13 – ETL – Transformación y carga IS.S3.C2.V13

14 – El datawarehouse IS.S3.C2.V14

15 – El datawarehouse - DataMart IS.S3.C2.V15

16 – Metadatos IS.S3.C2.V16

17 – El motor OLAP IS.S3.C2.V17

18 – BIG DATA – Data Mangement IS.S3.C2.V18

Videos





Vídeo1 – Datos, Información, Conocimiento

E:/2014/Master de SAP La Salle/1 SAP BI LA SALLE 2014/Sesion2/zyncro.avi





Vídeo1 – Datos, Información, Conocimiento Definiciones

DATOS INFORMACIÓN CONOCIMIENTO VENTAJA COMPETITIVA





Ventas • Productos solicitados

• Cantidad de pedidos

•Clientes que han comprado

• Clientes más rentables

• Pedidos más frecuentes

• Productos más rentables

• % de nuevos clientes

Servicio

al Cliente

• Datos de llamadas de

nuestros clientes

• Información sobre el log de

nuestra página web

• Qué clientes visitan nuestra

página web ?

• % pedidos realizados por

nuestros canales de ventas

• Qué consulta es más frecuente?

Marketing

• Número de campañas

realizadas y características

de cada una

• % éxito de las campañas

• Qué tipo de clientes han

respondido mejor a cada una de

las campañas realizadas ?

Distribución • Productos que salen

diariamente del almacén

• Tiempo teórico de entrega

• Número de pedidos retrasados

• Distribuidor que tiene el mayor

número de retrasos

• Tiempo medio de entrega

Fuente : Deloitte & Touche

Vídeo1 – Datos, Información, Conocimiento





FINAL VIDEO 1 Datos, Información, Conocimiento

IS - Introducción a SAP y Business Intelligence

Sesión 3 – Introducción a Business Intelligence

Clase 2 - ¿ Qué es Business Intelligence?

IS.S3.C2.V1
























Videos





Para que los datos se consideren de calidad se debe

comprobar que cumplen con las siguientes características:

1. Precisión: Los datos deben representar con

precisión la realidad o lo almacenado en una fuente

de datos.

2. Integridad: La estructura entre los datos y sus

relaciones son invariables.

3. Totalidad: Deben estar todos los datos

necesarios.

4. Coherencia: Datos bien definidos y

comprensibles.

5. Validez: El valor de los datos debe encontrarse

entre los rangos aceptables según las normas de la

organización.

6. Accesibilidad: Resulta fácil acceder a los datos.

7. Disponibilidad: Los datos se encuentran

disponibles cuando se necesitan.

Vídeo 2 – Calidad del dato





Los principales problemas que provoca una baja

calidad en los datos son [Wayne W., 2002] los que

siguen:

- Tiempo extra para conciliar los datos.

- Baja credibilidad en el sistema.

- Costes extra.

- Insatisfacción de los clientes.

- Retraso en el desarrollo de nuevos sistemas.

- Pérdidas de ingresos.

- Problemas de conformidad.

En contra partida las ganancias que aportan

la calidad en los datos son:

- Incrementos en la satisfacción de los

clientes.

- Mayor confianza en los sistemas de análisis.

- Reducción de costes.

- Menor dedicación de recursos a la

conciliación de datos.

- Incremento de ingresos.

Calidad del dato

Vídeo 2 – Calidad del dato





FINAL VIDEO 2 Calidad del DATO




IS.S3.C2.V2
























Videos





Vídeo 3 – Modelo relacional

El modelo relacional desarrollado por E. F. Codd

en el año 1970: Está formado por tablas y

relaciones entre las mismas.

La mayoría de las aplicaciones de gestión

utilizan bases de datos fundamentadas en el

modelo relacional. El modelo relacional utiliza un

lenguaje de interrogación conocido por Standard

Query Language (SQL).

El modelo de relacional se basa, pues en tablas

con distintos atributos o campos y las relaciones

entre las tablas.

Cada tabla tiene un Clave primaria (“Primary

key” o PK en nuestro esquema) formada por uno

o más atributos y las tablas se relacionan entre

ellas mediante las Claves externas (“Foreign

Key” o FK en nuestro esquema) que actúan

como claves primarias en sus propias tablas.





FINAL VIDEO 3 Modelo relacional




IS.S3.C2.V3
























Videos





Vídeo 4 – Modelo Multidimensional

Los datos son extraídos desde aplicaciones, bases de datos, archivos, etc. Esta información generalmente reside en diferentes tipos de sistemas, orígenes y arquitecturas y tienen formatos muy variados.

Los datos son integrados, transformados y limpiados, para luego ser cargados en el DW.

Principalmente, la información del DW se estructura en cubos multidimensionales, ya que estos preparan esta información para responder a consultas dinámicas con una buena performance. Pero también pueden utilizarse otros tipos de estructuras de datos para representar la información del DW, como por ejemplo Business Models.

Los usuarios acceden a los cubos multidimensionales del DW utilizando diversas herramientas de consulta, exploración, análisis, reportes, etc.





FINAL VIDEO 4 Modelo Multidimensional




IS.S3.C2.V4
























Videos





Vídeo5 – Conceptos de Tabla de Hecho y Dimensión

Hecho: una operación que se realiza

en el negocio en un tiempo

determinado. Son objeto de análisis

para la toma de decisiones. Se

representan en una caja con su

nombre y las medidas que lo

caracterizan

Los Hechos están estrechamente

relacionados con el tiempo. Los

eventos que son estáticos no tienen

objetivo de análisis para un modelo

DW, son muy pocos los hechos que no

ocurren con determinada periodicidad

en un negocio. Los hechos están

caracterizados por medidas numéricas

Una Dimensión es una característica

de un hecho que permite su análisis

posterior, en el proceso de toma de

decisiones

Dimensiones compartidas: pueden

existir varios hechos que sean

analizados por dimensiones iguales.

(p.e el tiempo)

http://www.monografias.com/trabajos12/decis/decis.shtml





http://www.monografias.com/trabajos16/objetivos-educacion/objetivos-educacion.shtml

http://www.monografias.com/trabajos14/administ-procesos/administ-procesos.shtml#PROCE





FINAL VIDEO 5 Conceptos de Tabla de Hecho y Dimensión




IS.S3.C2.V5
























Videos





Vídeo 6 – Concepto de indicador KPI

Los KPI deben ser cuantificables y deben medir las mejoras en aquellas actividades que son

críticas para conseguir el éxito de la organización.

Los KPI deben estar relacionados con los objetivos y con las actividades fundamentales de

nuestra organización (aquellas que nos permiten obtener los resultados). Por ejemplo, en

venta por teléfono es fundamental atender las llamadas antes de que cuelguen; por lo tanto, el

porcentaje de llamadas atendidas antes de 20 segundos podría ser un KPI.

Si queremos definir un KPI para las ventas, deberemos decidir:

• Sobre € o unidades.

• En qué periodo restamos las devoluciones: en el actual, en el periodo anterior o cuando se

produjeron.

• Deberemos fijar un objetivo de ventas a conseguir.

Distintas empresas de un mismo sector pueden tener distintos KPIs en función de sus modelos

de negocio, objetivos o su propia idiosincrasia.

Los KPIs que escojamos deben:

• Reflejar los objetivos del negocio. • Ser críticos para conseguir el éxito.

• Ser cuantificables y comparables. • Permitir las acciones correctivas.

Indicadores de gestión o variables son los datos que están siendo analizados. Forman

parte de la tabla de hechos.

Las variables representan algún aspecto cuantificable o medible de los objetos o

eventos a analizar.





Vídeo 6 – Concepto de indicador KPI. Ejemplo KPIs Retail Financial KPIs

1. Accounts Payable Turnover = Avg Accts Payable / (Cost of Sales / 365)

2. Accounts Receivable Turnover Days = Avg Accts Rec / (Credit Sales/365)

3. Acid Test Ratio = (Current Assets - Inventory)/Current Liabilities

4. Admin Cost % = (Administration Costs / Sales )*100

5. Average Inventory = (Beginning of Period Inventory + End of Period Inventory)/2

6. Break-even ($) = Fixed Costs / Gross Margin Percentage

Cash Conversion Cycle = (Days Inventory Outstanding + Days Sales Outstanding +

Days Payable Outstanding)

7. Contribution Margin = (Total Sales - Variable Costs)

8. Cost of Goods = (Retail Price – Markup)

9. Gross Margin = Total Sales - Cost of Goods

10. Current Ratio = Current Assets / Current Liabilities

Retail Customer KPIs

1. Customer GROSS Profit = Customer Sales - Customer Cost of Goods Sold for a period

2. Customer Lifetime Purchase Value - Monetary value of each customer's life time purchases

from the retailer

3. Customer Profitability = Customer Sales - (Customer Returns - Customer Cost of Goods Sold +

Customer Promotion Expenses + Activity Based Cost of Servicing Customer) for a period

4. Customer Purchase Freq Count - Count of customer purchases transactions over a period of

time

5. Customer Purchase Value - Monetary value of each customer purchase during a period with

an average value for all purchases for the period

6. Customer Reference question - A rating from 0 to 10 that indicates if the customer would

recommend the store.

7. Customer Sales by Segment - This formula is dependent upon defining customer segments

(based on age, education, lifestyle, income and other factors) and associating individual

customers to specific segments.

8. Customer Service Staffing = Face to face customer service staff count / total staff count

9. Visit to Buy Ratio = Sales Transaction Count per period / Visit Count Per Period

Retail increasing your sales KPIs

1. Sales per hour – Statically compares one sales person

with the other and determines who is efficient in selling

and attending the customers.

2. Average Sale – Statically compares the average selling

price of a sales person. The higher statistics shows that

the person has a wide knowledge on the product and the

less statistics reveals that he lacks in the product

knowledge or effective description.

3. Items Per Sale – determines the ability of a sales

person compare to sale.

4. Conversion Rate – shows how many customers they

have made from the visitors of the store.

5. Wage to Sales Ratio – gives a graph comparing the

hourly wages of a sales person to hourly sales they have

made. This KPI determine their performance level and

how effective they are.

The basic KPI a retailer

1.Sales – annual turnover, transaction made, basket

spend, footfall - all against LFL and budget

2. Loss prevention – Shrinkage loss, (stock loss or cash

loss)

3. Operational – availability, inventory integrity

4. Salary

5. Service – Complaints that are made

6. HR development – training, coaching, staff turnover

7. Variable costs – any expenses made at an additional

cost are avoidable





FINAL VIDEO 6 Concepto de indicador KPI




IS.S3.C2.V6
























Videos





Vídeo 7 –Componentes y tipos de base de datos multidimensionales

Una base de datos multidimensional se forma

mediante una tablas de hechos y n tablas de

dimensiones.

Permite tener acceso flexible a los datos, para

explorar y analizar sus relaciones, y

consiguientes resultados.

Las bases de datos multidimensionales implican

tres posibles formas de modelo de datos:

Esquema en Estrella (Star Scheme).

Esquema Copo de Nieve (Snowflake

Scheme).

Esquema Constelación o copo de estrellas

(Starflake Scheme).





Esquema en estrella

En las bases de datos usadas para data warehousing, un esquema en estrella es aquel que tiene una tabla de hechos que contiene los datos de análisis, rodeada de las tablas de dimensiones. Este aspecto, de tabla de hechos (o central) más grande rodeada de radios o tablas más pequeñas es lo que asemeja con una estrella.

Este esquema es ideal por su simplicidad y velocidad para ser usado para análisis. Permite acceder tanto a datos agregados como de detalle.

Además, permite reducir el número de joins entre tablas y deja a los usuarios establecer jerarquías y niveles entre las dimensiones.

Finalmente, es la opción con mejor rendimiento y velocidad pues permite indexar las dimensiones de forma individualizada sin que repercuta en el rendimiento de la base de datos en su conjunto.





Esquema copo de nieve

Es una estructura más compleja que el esquema en estrella.

Tiene dimensiones implementadas con más de una tabla de datos

Minimiza el espacio en disco.

Su rendimiento es peor.

La finalidad es normalizar las tablas y así reducir el espacio de almacenamiento

al eliminar la redundancia de datos

http://es.wikipedia.org/wiki/Normalizaci%C3%B3n_de_bases_de_datos

http://es.wikipedia.org/wiki/Tabla_de_dimensi%C3%B3n





Este esquema se utiliza principalmente cuando queremos dividir una tabla de

hechos para una mejor comprensión.

La división de la tabla de hechos se realiza sólo cuando nos queremos enfocar

en la agregación sobre algunos hechos y dimensiones.

El modelo este puede ser una solución adecuada cuando por ejemplo hay una

tabla de hechos de venta (con un nivel de detalle hasta un día y el numero de

factura) y hay otra tabla de factos con los Pronósticos (con los campos clave:

mes, código articulo, código cliente).

Esquema en “constelación”





FINAL VIDEO 7 Componentes y tipos de base de datos multidimensionales




IS.S3.C2.V7
























Videos





Vídeo 8 – Componentes de Business Intelligence

Los componentes son:

• Fuentes de información, de las cuales partiremos para alimentar de información el

datawarehouse.

• Proceso ETL de extracción, transformación y carga de los datos en el datawarehouse. Antes de

almacenar los datos en un datawarehouse, éstos deben ser transformados, limpiados, filtrados y

redefinidos. Normalmente, la información que tenemos en los sistemas transaccionales no está

preparada para la toma de decisiones.

• El propio datawarehouse o almacén de datos, con el Metadata o Diccionario de datos. Se busca

almacenar los datos de una forma que maximice su flexibilidad, facilidad de acceso

y administración.

• El motor OLAP, que nos debe proveer capacidad de cálculo, consultas, funciones de

planeamiento, pronóstico y análisis de escenarios en grandes volúmenes de datos. En la

actualidad existen otras alternativas tecnológicas al OLAP, que también desarrollaremos en el

presente capítulo.

• Las herramientas de visualización, que nos permitirán el análisis y la navegación a través de los

mismos.





FINAL VIDEO 8 Componentes de Business Intelligence




IS.S3.C2.V8
























Videos





Vídeo 9 – Las fuentes de información

Las fuentes de información a las que podemos acceder son:

• Básicamente, de los sistemas operacionales o transaccionales, que

incluyen aplicaciones desarrolladas a medida, ERP, CRM, SCM, etc.

• Sistemas de información departamentales: previsiones,

presupuestos, hojas de cálculo, etcétera.

• Fuentes de información externa, en algunos casos comprada a

terceros, como por ejemplo estudios de mercado (Nielsen en

distribución de gran consumo, IMS de la industria farmacéutica). Las

fuentes de información externas son fundamentales

para enriquecer la información que tenemos de nuestros clientes. En

algunos casos es interesante incorporar información referente, por

ejemplo, a población, número de habitantes, etc. Podemos acceder a

información de este tipo en la web del Instituto Nacional de

Estadística (www.ine.es).





Las fuentes de información Los sistemas OLTP (Online Transactional Processing)

Los sistemas OLTP están diseñados para gestionar un gran número de peticiones

concurrentes sobre sus bases de datos, y que los usuarios puedan insertar, modificar,

borrar y consultar dichos datos. Están enfocados a que cada operación (transacción)

trabaje con pequeñas cantidades de filas, y a que ofrezcan una respuesta rápida.

Habitualmente utilizan sistemas de bases de datos relacionales para gestionar los datos,

y suelen estar altamente normalizados. En ellos es muy importante la integridad de los

datos, y deben cumplir las propiedades ACID (Atomicity, Consistency, Isolation, Dura-

bility):

· Atomicidad: una operación, o se realiza por completo o no se realiza, nunca debe

quedar a medias.

· Consistencia: sólo se ejecutan las operaciones que cumplen las reglas de integridad

de la base de datos.

· Aislamiento (Isolation): una operación no puede afectar a otras, dos transacciones

sobre los mismos datos son independientes y no generan errores entre sí.

· Durabilidad: una vez realizada una operación, ésta es persistente y no se puede

deshacer.

Como ejemplo de este tipo de sistemas, podemos citar un ERP, un CRM, aplicaciones

departamentales, aplicaciones de ventas, de comercio electrónico, y un largo etcétera.

En general cualquier aplicación con la que el usuario interactúa para introducir datos

operacionales al sistema





FINAL VIDEO 9 Las fuentes de información




IS.S3.C2.V9
























Videos





Los procesos de Extracción, Transformación y Carga constan de múltiples pasos, cuyo

objetivo es transferir datos desde las aplicaciones de producción a los sistemas de

Inteligencia de negocio.

Es el proceso que permite a las organizaciones extraer datos desde múltiples fuentes,

reformatearlos y recodificarlos y cargarlos en otros sistemas, bases de datos o aplicaciones

para realizar un proceso de análisis.

Vídeo 10– ETL- Introducción

Las premisas fundamentales son:

Criticidad alta: de ella dependen el resto de las fases del proyecto.

Costosa: puede resultar fuente potencial de costes inesperados.

Multidisciplinar: además de solvencia técnica, requiere una comprensión del negocio y del

significado de los datos.

Específica: porque los datos necesarios para la minería de datos deben ajustarse a criterios de

contenido, calidad y formato muy concretos.

Son procesos ocultos para los usuarios.





Vídeo 10 – ETL

El proceso ETL se divide en 5 subprocesos:

1. Extracción: Este proceso recupera los datos físicamente de las

distintas fuentes de información. En este momento disponemos de

los datos en bruto.

2. Limpieza: Este proceso recupera los datos en bruto y comprueba

su calidad, elimina los duplicados y, cuando es posible, corrige los

valores erróneos y completa los valores vacíos, es decir se

transforman los datos -siempre que sea posible- para reducir los

errores de carga. En este momento disponemos de datos limpios y

de alta calidad.

3. Transformación: Este proceso recupera los datos limpios y de

alta calidad y los estructura y sumariza en los distintos modelos de

análisis. El resultado de este proceso es la obtención de datos

limpios, consistentes, sumarizados y útiles.

4. Integración: Este proceso valida que los datos que cargamos en

el datawarehouse son consistentes con las definiciones y formatos

del datawarehouse; los integra en los distintos modelos de las

distintas áreas de negocio que hemos definido en el mismo. Estos

procesos pueden ser complejos.

5. Actualización: Este proceso es el que nos permite añadir los

nuevos datos al datawarehouse.





FINAL VIDEO 10 ETL Introducción




IS.S3.C2.V10
























Videos





Vídeo 11– ETL - Extracción

1. Extracción

La extracción de los datos se puede realizar bien de

forma manual o bien utilizando herramientas de ETL.

De forma manual significa programar rutinas utilizando

lenguajes de programación (por ejemplo: COBOL) que

extraigan los datos de las fuentes de datos origen,

aunque en otros casos se opta por las utilidades de

replicar la base de datos que tienen los motores de

bases de datos.

Diagrama ETL en sistemas SAP

El principal objetivo de la extracción es extraer tan sólo aquellos datos de los

sistemas transaccionales que son necesarios y prepararlos para el resto de los

subprocesos de ETL.

La alternativa más rentable es la que proveen las herramientas especializadas de

ETL, ya que han sido diseñadas para llevar a cabo esta función y nos permiten

visualizar el proceso y detectar los errores durante el proceso o durante la carga.

Cada vez más los motores de bases de datos tienen mejores funcionalidades de ETL.





FINAL VIDEO 11 ETL extracción




IS.S3.C2.V11
























Videos





Vídeo 12– ETL - Transformación

2. Limpieza

Los sistemas transaccionales contienen datos que no han sido

depurados y que deben ser limpiados.

Las herramientas ETL tienen funcionalidades de limpieza de datos,

aunque existen herramientas especializadas para ello. En proyectos de

CRM, la limpieza de los datos es clave: los nombres y las direcciones

de los clientes siempre necesitan ser limpiados, eliminar duplicados,

etc.

Si no llevamos a cabo este subproceso de forma exquisita, crearemos

escépticos al mostrar los resultados si, por ejemplo, mostramos los

mejores clientes de nuestra organización y aparecen duplicados; en tal

caso, lo más habitual es que se cuestione la validez del modelo.






¿cuáles son las causas que provocan que los datos estén

“sucios”?,

• Valores por defecto: En la caja no saben la referencia de un producto e introducen

el código 999 y el precio a mano.

• Ausencia de valor.

• Campos que tienen distintas utilidades: Para algunos clientes ponemos una

información y para otros, otra distinta.

• Valores crípticos.

• Valores contradictorios.

• Uso inapropiado de los campos, por ejemplo en las direcciones de los clientes.

• Vulneración de las reglas de negocio.

• Reutilización de claves primarias con valores que se habían utilizado en el pasado.

• Identificadores que no son únicos.

• Problemas de carga de antiguos sistemas o de integración entre sistemas.

• Selección del primer valor de una lista por defecto.






La limpieza de datos se divide en distintas etapas, que vamos a

describir:

• Depurar los valores (Parsing): Este proceso localiza e identifica los

elementos individuales de información en las fuentes de datos y los

aísla en los ficheros destino. Por ejemplo: separar el nombre completo

en nombre, primer apellido, segundo apellido, o la dirección en: calle,

numero, piso, etcétera.

• Corregir (Correcting): Este proceso corrige los valores individuales de los atributos

usando algoritmos de corrección y fuentes de datos externas. Por ejemplo: comprueba

una dirección y el código postal correspondiente.

• Estandarizar (Standardizing): Este proceso aplica rutinas de conversión para

transformar valores en formatos definidos (y consistentes) aplicando procedimientos

de estandarización y definidos por las reglas del negocio. Por ejemplo: trato de Sr.,

Sra., etc. o sustituyendo los diminutivos de nombres por los nombres

correspondientes.

• Relacionar (Matching): Este proceso busca y relaciona los valores de los registros,

corrigiéndolos y estandarizándolos, basándose en reglas de negocio para eliminar

duplicados. Por ejemplo: identificando nombres y direcciones similares.

• Consolidar (Consolidating): Este proceso analiza e identifica relaciones entre

registros relacionados y los junta en una sola representación.





FINAL VIDEO 12 ETL Transformación




IS.S3.C2.V12
























Videos





Vídeo 13– ETL – Transformación y carga 3. Transformación

La transformación de los datos se hace partiendo de los datos una

vez “limpios”. Transformamos los datos de acuerdo con las reglas

de negocio y los estándares que han sido establecidos. La

transformación incluye: cambios de formato, sustitución de

códigos, valores derivados y agregados.

5. Actualización

Este proceso determina la periodicidad con el que haremos nuevas cargas de datos al

datawarehouse.

4. Integración

La última etapa es la de integración en el datawarehouse: es el momento en el que

cargamos los datos y debemos comprobar si, por ejemplo, los totales de ventas que

hemos cargado coinciden con la información que residía en nuestro sistema tran-

saccional, así como si los valores que tienen los registros cargados corresponden a

los definidos en el datawarehouse. Es fundamental comprobar que se ha desarrollado

correctamente, ya que en caso contrario pueden llevar a decisiones erróneas a los

usuarios.

Los agregados, como por ejemplo la suma de las ventas, normalmente se precalculan

y se almacenan para conseguir mayores rendimientos cuando lanzamos las consultas

que requieren el cálculo de totales al datawarehouse.





En la actualidad las herramientas de ETL permiten componer los procesos ETL mediante asistentes gráficos.

Algunas de las herramientas ETL actuales:

Vídeo 13– ETL – ejemplos de aplicaciones del mercado

IBM Websphere DataStage (Previously Ascential DataStage)

Informatica PowerCenter metaWORKS ( Document Tools) Microsoft DTS (incluido en SQL-Server 2000)

Microsoft Integration Services (MS SQL Server 2005)

MySQL Migration Toolkit Scriptella ETL - Libre, Apache-licensed ETL

Talend Open Studio Oracle Warehouse Builder WebFocus-iWay DataMigrator Server

XMLoder SAS Data Integration Studio & DataFlux Ab Initio Barracuda Software (Integrator) MakeWare Soluciones Tecnologicas Benetl Biable http://www.visiontecnologica.com BITool - ETL Software http://www.bitool.com/ BOPOS TLOG-4690 rhiscom (back-office POS) CloverETL [1] Cognos Decisionstream Data Integrator (herramienta de Business Objects) Data Migraton Toolset de Backoffice Associates (BoA) Genio, Hummingbird





ETL Esquema del Proceso

Orígenes de datos

Procesos a implementar

El Job desarrollado

Job Designer

Componente tMap del grupo Processing Transformación (MAP)

Esquema completo del Job

E:/2014/Master de SAP La Salle/1 SAP BI LA SALLE 2014/Sesion2/Video ejemplo de una ETL.avi





FINAL VIDEO 13 ETL – Transformación y carga




IS.S3.C2.V13
























Videos





Vídeo 14 – El datawarehouse

Un datawarehouse es una

colección de información creada

para soportar las aplicaciones de

toma de decisiones

Debe estar orientado sobre un

área, integrado, indexado

al tiempo, es un conjunto no

volátil de información que soporta

la toma de decisiones.





Vídeo 14 – El datawarehouse El DW Manager presenta las siguientes características y

funciones principales:

•Almacena los datos de forma multidimensional, es decir, a

través de tablas de hechos y tablas de dimensiones.

•Gestiona las diferentes estructuras de datos que se

construyan o describan sobre el DW, como Cubos

Multidimensionales, Business Models, etc.

•Gestiona y mantiene metadatos.

Además, el DW Manager se encarga de:

•Transformar e integrar los datos fuentes y del almacenamiento

intermedio en un modelo adecuado para la toma de decisiones.

•Realizar todas las funciones de definición y manipulación del

depósito de datos, para poder soportar todos los procesos de

gestión del mismo.

•Ejecutar y definir las políticas de particionamiento. El objetivo

de realizar esto, es conseguir una mayor eficiencia y

performance en las consultas al no tener que manejar todo el

grueso de los datos.

•Realizar copias de resguardo incrementales o totales de los

datos del DW.





Vídeo 14 – El datawarehouse Si no se construyera un datawarehouse y se recuperara

la información directamente de los sistemas

operacionales, para analizarla a través de una hoja de

cálculo por ejemplo, aparecerían problemas surgidos

de los errores y del tiempo la mayoría de ellos:

- Pueden cometerse errores al introducir la

información de las diferentes fuentes.

- El proceso de extraer la información de las

fuentes operacionales y la introducción en la hoja

de cálculo conllevaría mucho tiempo.

- Si se necesitara posteriormente información más

detallada, habría que repetir el proceso.

-Habría que repetir el proceso también cuando los

datos cambiaran

-El trabajo de construir un datawarehouse corporativo

puede generar inflexibilidades, o ser costoso y requerir

plazos de tiempo que las organizaciones no están

dispuestos a aceptar. En parte, estas razones

originaron la aparición de los Data Mart





Vídeo 14 – El datawarehouse

Los factores que deberíamos tener en cuenta

cuando estamos evaluando una alternativa

tecnológica para la construcción de un

datawarehouse son:

• Tamaño del datawarehouse: Es el volumen de

datos que contiene el datawarehouse.

• Complejidad de los esquemas de datos: Si el

modelo de datos es complejo, puede dificultar la

optimización y el rendimiento de las consultas.

• Número de usuarios concurrente: Éste es un factor

determinante. Si distintos usuarios pueden lanzar

consultas concurrentes (a la vez), el datawarehouse

debe gestionar sus recursos

para poder dar respuesta a las distintas consultas.

• Complejidad de las consultas: Si las consultas

necesitan acceder a un número elevado de tablas y

los cálculos a realizar son complejos, podemos

poner en dificultades al motor de

la base de datos del datawarehouse.





FINAL VIDEO 14 El datawarehouse




IS.S3.C2.V14
























Videos





Vídeo 15 – El datawarehouse - DataMart

DataMart: productos o aplicaciones que utilizan la tecnología Data Warehouse adaptada a las necesidades de las empresas medias, o a un área o departamento de una empresa grande. Podemos entenderlo como una “parte” o subconjunto de un datawarehouse.

El hecho de que sea una parte de un DW no lo hace más sencillo. Normalmente primero debe realizarse el DW para poder obtener el DataMart posteriormente.

Las ventajas operativas que proporciona un DataMart son:

Crea un conjunto de datos que se usan en unos casos determinados y por los usuarios de un área determinada.

Mejora el rendimiento en una serie de consultas determinadas.

Mejora el rendimiento de todo el DW al “parcelar” los ámbitos de consulta. Es decir, sólo se interroga a parte de los datos y no a todos.





Vídeo 15 – El datawarehouse - DataMart

La manera de implementar esta solución es construir un datamart e ir construyendo

tantos como se necesiten por área de negocio. Esta solución es sencilla de

implementar y no requiere mucho presupuesto, pero conlleva el problema de que

podrían existir inconsistencias entre los diferentes datamart, y la información

corporativa se contradiría.





FINAL VIDEO 15 El datawarehouse – DataMart



Clase 2 - Componentes del Business Intelligence (I)

IS.S3.C2.V15
























Videos





Vídeo 16– Metadatos

3.4.9. Metadatos

Los metadatos son datos que describen o dan información de

otros datos, que en este caso, existen en la arquitectura del

Data Warehousing. Brindan información de localización,

estructura y significado de los datos, básicamente mapean los

mismos.

Los metadatos de BO se llaman universos. BO tiene, tal vez,

la capa semántica más conocida. Se trata de un modelo

amplísimamente utilizado, y tremendamente sencillo y útil.

Básicamente, para crear un universo se tiene que informar al

sistema de la relación entre las tablas, y definir las

dimensiones y objetos que verá el usuario. La relación entre

las tablas se establece gráficamente utilizando un diagrama

de tablas. Y las dimensiones e indicadores se definen a través

de los campos o cálculos SQL necesarios...

El concepto de metadatos es análogo al uso de índices para localizar objetos en lugar de datos.

Es importante aclarar que existen metadatos también en las bases de datos transaccionales, pero los

mismos son transparentes a los usuarios. La gran ventaja que trae aparejada el Data Warehousing en

relación con los metadatos es que los usuarios pueden gestionarlos, exportarlos, importarlos, realizarles

mantenimiento e interactuar con ellos, ya sea manual o automáticamente.





Vídeo 16– Metadatos

Las funciones que cumplen los metadatos en el ambiente

Data Warehousing son muy importantes y significativas,

algunas de ellas son:

•Facilitan el flujo de trabajo, convirtiendo datos

automáticamente de un formato a otro.

•Contienen un directorio para facilitar la búsqueda y

descripción de los contenidos del DW, tales como:

bases de datos, tablas, nombres de atributos,

sumarizaciones, acumulaciones, reglas de negocios,

estructuras y modelos de datos, relaciones de

integridad, jerarquías, etc.

•Poseen un guía para el mapping , de cómo se

transforman e integran los datos de las fuentes

operacionales y externos al ambiente del depósito de

datos.

•Almacenan las referencias de los algoritmos utilizados

para la esquematización entre el detalle de datos

actuales, con los datos ligeramente resumidos y éstos

con los datos altamente resumidos, etc.

•Contienen las definiciones del sistema de registro

desde el cual se construye el DW.

http://www.dataprix.net/gl/datawarehouse-manager-34





FINAL VIDEO 16 Metadatos




IS.S3.C2.V16
























Videos





OLAP (On-Line Analytical Processing). Es una solución utilizada en Business

Intelligence, consiste en consultas a estructuras multidimensionales.

El objetivo es agilizar la consulta de grandes cantidades de datos

Técnicamente la principal característica de OLAP, es que es más rápido a la hora

de hacer selects, en contraposición con OLTP que es la mejor opción para

INSERTS, UPDATES Y DELETES.

Vídeo 17– El motor OLAP

La gestión OLAP de la información es departamentalmente estructurada.

Comparado con un sistema OLTP, el sistema OLAP se caracteriza por:

Menos volumen de datos

Flexible

Personalizado

Precategorizado

Las fuentes de datos son generalmente sistemas OLTP





Permite recolectar y organizar la información analítica necesaria para los usuarios y disponer de ella en diversos formatos, tales como tablas, gráficos, reportes, tableros de control, etc.

Soporta análisis complejos de grandes volúmenes de datos.

Complementa las actividades de otras herramientas que requieran procesamiento analítico en línea.

Caracteristicas de navegación OLAP (II)

Presenta a los usuarios una visión multidimensional de los datos (matricial) para cada tema de interés del negocio.

Es transparente al tipo de tecnología que soporta el DW, ya sea ROLAP, MOLAP u HOLAP.

No tiene limitaciones con respecto al número máximo de dimensiones permitidas.

Permite a los usuarios, analizar la información basándose en más criterios que un análisis de forma tradicional.

Al contar con muestras grandes, se pueden explorar mejor los datos en busca de respuestas.

Permiten realizar agregaciones y combinaciones de los datos de maneras complejas y específicas, con el fin de realizar análisis más estratégicos.





Cubos de datos: conjunto formado por todas las tablas de

dimensiones y las tabla de hechos.

Vídeo 17– El motor OLAP Cubos Multidimensionales






hemos cambiado la dimensión “clientes” por la de “modelos de

coches”






También podemos seleccionar (en inglés “dicing”) sólo algunas de

las celdas, por ejemplo: ¿Cuáles son las ventas al cliente 1, de los

modelos de coche Seat Ibiza y Seat León, en el año 1?





Vídeo 17 – El motor OLAP Cubos Multidimensionales

O lo que nos puede interesar es el total de los modelos de coches

vendidos con el máximo nivel de agregación (en inglés “roll-up”)





Vídeo8.4. – El motor OLAP Cubos Multidimensionales

Imaginemos que tenemos los modelos de coches de dos fabricantes distintos (

SEAT y FORD). El Seat León y el Seat Ibiza son modelos del fabricante Seat y el

Ford Fiesta del fabricante Ford, Partiendo del cubo anterior de las ventas

agregadas, bajamos a más detalle (en inglés “drill-down”) a través de la jerarquía

“fabricante”. En ese caso obtendríamos:





ROLAP (relacional OLAP) Sistema OLAP que almacena los datos en un motor relacional. La

información esta muy detallada aunque su uso sea analítico. Nivel muy alto de normalización, compartiendo incluso dimensiones.

Su punto fuerte es poder trabajar analíticamente con un volumen muy importante de datos.

MOLAP (multidimensional OLAP) Sistema OLAP que almacena los datos en un motor

multidimensional. La información está agregada o precalculada, esto optimiza el tiempo de respuesta pero el volumen de información a tratar no puede ser muy voluminosos.

HOLAP (Hybrid OLAP) Almacena algunos datos en un motor relacional y otros uno

multidimensional.

DOLAP (Dessktop OLAP) Los datos se hayan en el escritorio o terminal de los usuario. No

necesito conexión.

Vídeo8.4. – El motor OLAP Tipos de sistemas OLAP

http://es.wikipedia.org/wiki/Base_de_datos_relacional



http://es.wikipedia.org/wiki/Base_de_datos_multidimensional





FINAL VIDEO 17 El motor OLAP




IS.S3.C2.V17
























Videos





http://jagalindo.blogspot.com.es/ martes, 22 de

octubre de 2013

STAMFORD, Conn., September 23, 2013

Gartner Survey Reveals That 64 Percent of Organizations Have Invested or Plan to Invest in Big Data in 2013

Big data investments in 2013 continue to rise, with 64 percent of organizations investing or planning to

invest in big data technology compared with 58 percent in 2012, according to a survey by Gartner, Inc.

However, less than eight percent of survey respondents have actually deployed.

Vídeo 18- BIG DATA – Data Mangement

http://jagalindo.blogspot.com.es/





FINAL VIDEO 18 BIG DATA – Data Mangement

FINAL CLASE 2




IS.S3.C2.V18

is.s3.c2.d1 componentes del-bi_i_v2

Documents

business intelligence

conocimiento is

transformacin is

dato is

datawarehouse is

videos is

dimensin is

mangement is