data warehouse day 3

Ben Martin BA Lörrach, WI 4.Semester 4/21/2002

Business Intelligence/Data Warehouse, 1

Data Warehouse Day 3Day 2 Review / Recall

What are the 4 key characteristics of Data Warehouse ?

Explain them !

Define a Independent and a dependent Data Mart !

Name the distinctions between Data Warehouses and Data Marts !

What are the most common schema designs ?

What different kind of data are in a Data Warehouse ?



Data Warehouse and AnalysisWhere we are ?



Data Warehouse and AnalysisAnalysewerkzeuge: Darstellung

Tabellen• Pivot-Tabellen := Kreuztabellen• Analyse durch Vertauschen von Zeilen und Spalten• Veränderung von Tabellendimensionen• Schachtelung von Tabellendimensionen (Integration weiterer Dimensionen)

Graphiken• Bildliche Darstellung großer Datenmengen - Wuerfel• Netz-, Punkt-, Oberflächengraphen

Text und Multimedia-Elemente• Ergänzung um Audio- oder Videodaten• Einbeziehung von Dokumentenmanagementsystemen



Data Warehouse and AnalysisAnalysewerkzeuge: Darstellung - Pivot



Data Warehouse and AnalysisAnalysewerkzeuge: Realisierung

Standard Reporting:• Reporting-Werkzeuge des klassischen Berichtswesens

Berichtshefte:• Graphische Entwicklungsumgebungen zur Erstellung von Präsentationen von Tabellen, Graphiken, etc.

Ad-hoc Query & Reporting:• Werkzeuge zur Erstellung und Präsentation von Berichten• Verbergen von Datenbankanbindung und Anfragesprachen



Analyse-Clients:• Werkzeuge zur mehrdimensionalen Analyse • beinhalten Navigation, Manipulation (Berechnung), erweiterte Analysefunktionen und Präsentation

Spreadsheet Add-Ins:• Erweiterung von Tabellenkalkulationen für Datenanbindung und Navigation

Entwicklungsumgebungen:• Unterstützung der Entwicklung eigener Analyseanwendungen• Bereitstellung von Operationen auf multidimensionalen Daten

Data Warehouse and AnalysisAnalysewerkzeuge: Realisierung II



• Report- u. Abfragegeneratoren • Statistik • Dokumenten-Retrieval • aktive Informationsfilter • Prozeßmodellierung • geographische Informationssysteme • Führungsinformation • Entscheidungsunterstützung • Abteilungsspezifische Tools • industriespezifische Tools

• Online Analytical Processing • Data Mining

Data Warehouse and AnalysisWerkzeuge fuer Entscheider



dynamische, multidimensionale Analyse von Daten mit dem Ziel der Aufdeckung neuer oder unerwarteter Beziehungen zwischen Variablen

Typische Fragestellungen:• „Mit welchem Produkt wird der größte Umsatz in einer Region gemacht ?“•„Wie verhält sich der Umsatz im Vergleich zum letzten Jahr?“

Ansatz:• multidimensionale Sichtweise auf Daten• Anpassung des Datenmodells• Präsentationsunterstützung

Data Warehouse and AnalysisOnline Analytical Processing (OLAP)



Data Warehouse and AnalysisOLAP - Coddsche Regeln

E.F. Codd (1993): Anforderungen an OLAP-Werkzeuge

1. Multidimensionale konzeptionelle Sichtweise• Betrachtung von (betriebwirtschaftlichen) Kenngrößen aus Sicht verschiedener Dimensionen

2. Transparenz• bzgl. Zugriff auf Daten aus unterschiedlichen Quellen

3. Zugriffsmöglichkeit• interne und externe Quellen

4. Gleichbleibende Antwortzeit bei der Berichterstellung• Antwortzeit unabhängig von der Anzahl der Dimensionen und des Datenvolumens



Data Warehouse and AnalysisOLAP - Coddsche Regeln II


5. Client-Server-Architektur• Trennung von Speicherung, Verarbeitung, Präsentation• offene Schnittstelle zum OLAP-Server

6. Generische Dimensionalität• einheitliche Behandlung aller Dimensionen• aber -> spezielle Zeitdimensionen

7. Dynamische Behandlung dünn besetzter Matrizen• Anpassung des physischen Schemas an die Dimensionalität und Datenverteilung (sparsity)

8. Mehrbenutzer-Unterstützung• konkurrierende Zugriffe• Sicherheits- und Integritätsmechanismen, Zugriffsrechte



9. Uneingeschränkte kreuzdimensionale Operationen• automatische Ableitung der Berechnungen, die sich aus den Hierarchiebeziehungen der Dimensionen ergeben (Aggregationen)• Definition eigener Berechnungen

10. Intuitive Datenbearbeitung• ergonomische, intuitive Datenbearbeitung• Navigation über Daten, Ausrichtung von Konsolidierungspfaden

11. Flexible Berichterstellung• Erstellung von Berichten mit beliebiger Datenanordnung

12. Unbegrenzte Anzahl von Dimensionen und Ebenen• keine Einschränkungen der Anzahl der unterstützten Dimensionen (häufig jedoch max. 5-8)

Data Warehouse and AnalysisOLAP - Coddsche Regeln III




• Es soll ein schneller Zugriff (nicht länger als 20 Sekunden) selbst bei aufwendigen Abfragen möglich sein.

• Datenanalysen sollen mit Hilfe von statistischen Verfahren und Geschäftslogik durchführbar sein.

• Die OLAP-Datenbasis muß von mehreren Benutzern gleichzeitig genutzt werden können.

• Für den Benutzer sollen alle von ihm benötigten Daten, unabhängig von Menge oder Herkunft, bereitgestellt werden.

Data Warehouse and AnalysisOLAP - Definition

FASMI (Fast Analysis of Shared Multidimensional Information)



• Die konzeptionelle Sicht auf die Daten muß von mehrdimensionaler Natur sein.

- physischer multidimensionaler Datenstruktur- virtuellen Multidimensionalität der Datenbank

* beruht auf einer relationalen Datenhaltung in denormalisierter Form (Star- bzw. Snowflake-Schema)

Data Warehouse and AnalysisOLAP - FASMI II

• Unter einer multidimensionalen Datenstruktur ist die Darstellung von Daten anhand von mehrdimensionalen Datenwürfeln zu verstehen und nicht wie im relationalen Datenmodell in zweidimensionalen Tabellen.



Data Warehouse and AnalysisOLAP - Sources

1. Operational System 2. Warehouse a) Relational b) Multidimensional



Data Warehouse and AnalysisOLAP - Architectures

ROLAP Relational On Line Analytical Processing• relationale Datenspeicherung - Tabellenform

MOLAP Multidimensional On Line Analytical Processing• multidimensional Datenspeicherung, n-dimensionaler Würfel (n-dim data cube)

HOLAP Hybrid On Line Analytical Processing• Speicherung eines Teils des DWH’s in Form von Würfeln (Performance), bei miss-hit wird aus relationalen RDBMS ein neuer Würfel generiert.

DOLAP Desktop On Line Analytical Processing• Analysesoftware und Datenspeicherung erfolgt auf der Clientseite



Data Warehouse and AnalysisOLAP - ROLAP

Presentationschicht(Clientseite)

Applikationsschicht(Serverseite)

Operationale Datenbank-schicht

operationale Datenbestände, legacy systeme,externe Datenquellen, Benchmarking, Börsendienste, etc.

Applikations-server

Applikations-server

Visualisierung durch multi-dimensionale Kreuztabellen,Reports, Top10 Ranking, Business Charts, etc. Dynamische Berichte mit OLAPFunktionalität

Metadaten

Data Warehouse

SQLAPI

Summary Tabels

multidimensional modelliertes DWH,basierend auf einem relationalen Datenbanksystem



Data Warehouse and AnalysisOLAP - ROLAP Eigenschaften

relationale Datenbank als Datenbasis für die OLAP Analyse• multidimensionale Sichten (views) durch tabellarische Aufbereitung der Daten, mittels standard SQL Abfragen (multidimensionalen Anfragen - GROUP-BY-Erweiterungen CUBE-Operator)

• Multidimensionale Erweiterungen: MDX, OLE DB for OLAP (Microsoft), Oracle Express, Discoverer

• basieren auf relationalem Starschema (oder Snowflake Schema) mit Facts, Dimensions

• Vorberechnete Summary Tables (materialized views) verbessern die Performance



Data Warehouse and AnalysisOLAP - ROLAP Vorteile und Nachteile

• Verwendet robuste (bereits bewährte) relationale Datenbanken

• Verständlicher (DBA) Datenzugriff (nur SQL)

• Datenimport

• Sicherheitsmechanismen bestehen bereits (auf relationaler Ebene)

• Große Datenmengen (größer als 100 Gbyte)



Data Warehouse and AnalysisOLAP - MOLAP





Multidimensionale DatenbankDWH in Form von Würfelnphysikalisch gespeichert, intelligente Indexstrategie

Applikations-server

Applikations-server

API SQL


Metadaten

MQL



Data Warehouse and AnalysisOLAP - MOLAP Eigenschaften

• Multidimensionale Datenbank für effiziente Speicherung von multidimensionale OLAP Abfragen

• multidimensionale Sicht durch Aufbereitung der Daten in einem n-dimensionalen Würfel

• multidimensionales Datenmodell ->



Data Warehouse and AnalysisOLAP - MOLAP Vorteile und Nachteile

+ Performance bei kleineren Datenmengen ( < 10 Gbyte)

+ Meist eigene multidimensionale Abfragesprache (verständlicher als SQL)

+ Hinzufügen von Dimensionen und Hierarchien ist leichter

+/- Problematik von dünnbesetzten Würfel muß gelöst werden

- Eingeschränkte Datenmengen (Performance sinkt)

- multidimensionale Abfragesprache -> Transformation Standard SQL notwendig

- Nicht jeder mögliche Datenwürfel kann vorberechnet werden.

- Bei miss-hit muß auf dahinterliegendes relationale RDBMS zugegriffen werden.



Data Warehouse and AnalysisOLAP - HOLAP




Applikations-server

Applikations-server

API


Metadaten

Data Warehouse


MQL



Data Warehouse and AnalysisOLAP - HOLAP Eigenschaften

• Nutzt die Vorteile der relationalen als auch multidimensionalen OLAP Anwendung

• multidimensonale Datenbank wird für häufige Abfragen erstellt

• multidimensionale Data Marts

• hochaggregierte Daten - schnelle Antwortzeit

• relationale Datenbank wird für seltenere Abfragen verwendet - große Mengen an Daten



+ Vereinigt das beste aus den beiden (ROLAP && MOLAP) Welten

+ MDDB System greift nicht mehr auf die operationalen Daten zu, sondern auf ein relationales DWH

+ keine Summary Tabelen (Problem DWH Maintenance !) mehr notwendig

- Aufwendige Architekturkonzept, unterschiedliche Technologien werden vermischt

Data Warehouse and AnalysisOLAP - HOLAP Vorteile und Nachteile



Data Warehouse and AnalysisOLAP - DOLAP





Metadaten

Applikations-server

Applikations-server PC-DBMS

API

ODBC

Extrakt aus einem DWH oder opera-tionalen Datenbe-ständen

oft wird auch ein spezielle Filestrukturals Datenbasis für den DOLAP Applika-tionsserver generiert.



Data Warehouse and AnalysisOLAP - DOLAP Eigenschaften

• Speicherung der Daten am Client (PC)

• OLAP Applikations- und Datenbankserver laufen auf der Clientseite

• Antwortzeit wird gering gehalten (kein Kommunikationsoverhead durch Netzwerk)

• begrenzte Kapazität (PC Datenbank, Ressourcen)

• Endanwender wird ein Auszug aus dem zentralen Data Warehouse auf seinen Client gestellt.



Data Warehouse and AnalysisOLAP - DOLAP Vorteile und Nachteile

+ Für kleinere klar abgegrenzte Anwendungsgebiete gut geeignet

+ Sicherheit kann gewährleistet werden, DWH (DBA) Administrator steuert die Erstellung der Extrakte für die einzelnen Endanwender

- Endanwender sieht zumeist nur einen Ausschnitt aus dem zentralen Data Warehouse, Analysen könnten dadurch falsch interpretiert werden

- Anwendungen sind oft alte Reportgeneratoren (statische Berichte) mit hinzugefügter OLAP Funktionalität

- Anwendungen verwenden zum Teil keine Datenbank, sondern erzeugen eine Filestruktur auf dem Client

- Oft greifen DOLAP Anwendungen direkt auf die operationalen Datenbestände zu.



Data Warehouse and AnalysisOLAP - Multidimensionales Datenmodell

• Datenmodell ausgerichtet auf Unterstützung der Analyse

• Datenanalyse im Entscheidungsprozeß

- Betriebswirtschaftliche Kennzahlen (Erlöse, Gewinne, Verluste, etc.) stehen im Mittelpunkt

- Betrachtung der Kennzahlen aus unterschiedlichen Perspektiven (zeitlich, regional, produktbezogen) -> Dimensionen

- Unterteilung der Auswertedimensionen möglich (Jahr, Quartal, Monat) -> Hierarchien oder Konsolidierungsebenen



Data Warehouse and AnalysisOLAP - Multidimensionales Datenmodell II

Kennzahlen/Fakten (engl. facts):

• (verdichtete) numerische Meßgrößen• Beschreiben betriebswirtschaftliche Sachverhalte• Beispiele: Umsatz, Gewinn, Verlust, Deckungsbeitrag

Typen:• Additive Fakten: (additive) Berechnung zwischen sämtlichen Konsolidierungsebenen der Dimensionen möglich, z.B. Einkaufswert

• Semi-additive Fakten: (additive) Berechnung nur für ausgewählte Menge von Hierarchieebenen, z.B. Lagerbestand

• Nicht-additive Fakten: keine additive Berchnung möglich, z.B. Durchschnitts- oder prozentuale Werte



Data Warehouse and AnalysisOLAP - Multidimensionales Datenmodell III

Dimension:• beschreibt mögliche Sicht auf die assoziierte Kennzahl

• endliche Menge von Dimensionselementen (Hierarchieobjekten), die eine semantische Beziehung aufweisen

• dienen der orthogonalen Strukturierung des Datenraums

• Hierarchien in Dimensionen: einfach und parallel - Examples ?

Beispiele: Produkt, Geographie, Zeit



Data Warehouse and AnalysisOLAP - Multidimensionales Datenmodell IV

Würfel (engl. cube, eigentlich Quader):

• Grundlage der multidimensionalen Analyse

• Kanten -> Dimensionen• Zellen -> ein oder mehrere Kennzahlen (als Funktion der Dimensionen)

• Anzahl der Dimensionen -> Dimensionalität

Visualisierung

• 2 Dimensionen: Tabelle• 3 Dimensionen: Würfel• >3 Dimensionen: Multidimensionale Domänenstruktur



Data Warehouse and AnalysisOLAP - Cube



Data Warehouse and AnalysisOLAP - Cube Example



Data Warehouse and AnalysisOLAP - Operationen auf multidimensionalen Datenstrukturen



Data Warehouse and AnalysisOLAP - Operationen auf multidimensionalen Datenstrukturen

Standardoperationen

• Pivotierung

• Roll-Up, Drill-Down

• Drill-Across

• Slice, Dice



Data Warehouse and AnalysisOLAP - Operationen - Pivotierung/Rotation



Data Warehouse and AnalysisOLAP - Operationen -Drill/Roll-Up

Beispiel: Land->Staat->RegionTag -> Monat -> Quartal -> Jahr

• Beim Drill-/Roll-up werden die Werte auf der nächst höherenHierarchieebene analysiert

• Dimensionalität bleibt erhalten Dimension REGION



Data Warehouse and AnalysisOLAP - Operationen -Drill-Down / Across

Dimension REGION

• komplementär zu Roll-Up

• Navigation von aggregierten Daten zu Detail-Daten entlang der Klassifikationshierarchie

• Untersuchen der Daten in einem feineren Detaillierungsgrad innerhalb einer Dimension

• Untersuchen von Detaildaten

Drill-Across:• Wechsel von einem Würfel zu einem anderen



Data Warehouse and AnalysisOLAP - Operationen - Roll-Up, Drill-Down



Data Warehouse and AnalysisOLAP - Operationen - Slice

Erzeugen individueller Sichten

Slice:• Herausschneiden von „Scheiben“ aus dem Würfel

• Verringerung der Dimensionalität

• Beispiel: alle Werte des aktuellen Jahres



Data Warehouse and AnalysisOLAP - Operationen - Slice



Regionale Sichtz.B. Gebietsleiter

ZeitR

egio

n

Produkt

alle Produkte gesamter Zeitraum eine Region (Filter)

Produkt Sichtz.B. Produktmanager

Zeit

Reg

ion

Produkt

alle Regionen gesamter Zeitraum ein Produkt (Filter)

Data Warehouse and AnalysisOLAP - Operationen - Slice - Beispiel



Data Warehouse and AnalysisOLAP - Operationen - Dice

Erzeugen individueller Sichten

Dice:• Herausschneiden einen „Teilwürfels“

• Erhaltung der Dimensionalität, Veränderung der Hierarchieobjekte

• Beispiel: die Werte bestimmter Produkte oder Regionen



Data Warehouse and AnalysisOLAP - Operationen - Dice - Example



Data Warehouse and AnalysisOLAP - Analyse-Werkzeuge

• Business Objects: Business Objects• Cognos:

Powerplay, BI Platform•Hyperion:

Hyperion OLAPEssbase

• IBM: Visualizer• Informix: Metacube• Seagate: Holos, Seagate Info• Oracle: Express Server• Brio: Brio Enterprise• Arcplan Information Servies:

inSigth, dynaSight



Data Warehouse and AnalysisData Mining and the Sept. 11th ?

• Applied Systems Intelligence (ASI): - eine Global Information Base, die feindliche Operationen automatisch aufspüren soll

• Nips, ein Numerically Integrated Profiling System - stellt Verbindungen zwischen Bankgeschäften und Reiseaktivitäten her

• Choice Point- verkauft Kundendaten an das FBI

• Nora (Non-Obvious Relationship Awareness)- Reservierungen für Flüge, Hotels und Mietwagen- Informationen aus über 4000 Quellen, in denen Daten von über einer Million Menschen zusammenlaufen- Datenmuster eines Passagiers mit dem eines Elements auf der Liste der bad guys überein- Alarm am Ticketschalter



Data Warehouse and AnalysisData Mining - Definition

• Der Begriff Data Mining steht für das Suchen nach wertvollen Geschäftsinformationen in einer großen Datenbank und für „das Graben nach einer wertvollen Informationsader.“

• Data Mining kann als Teilprozess des Knowledge Discovery angesehen werden

• Knowledge Discovery ist ein neuer Begriff in der Data Warehouse-, OLAP und Data Mining Problematik.

• Er bezeichnet den gesamten Entdeckungsprozeß ausgehend von der Formulierung einer Frage bis zur Interpretation der Ergebnisse.

• Data Mining ist der „Kunde“ im Data Warehouse



Iterativer und interaktiver Prozeß

1. Festlegung von Problembereich und Zielen

2. Datensammlung und –bereinigung

3. Auswahl und Parametrisierung der Analysefunktionen und –methoden

4. Data Mining/Mustererkennung

5. Bewertung und Interpretation der Ergebnisse

6. Nutzung des gefundenen Wissens

Data Warehouse and AnalysisData Mining - Knowledge Discovery in Databases (KDD)



Data Warehouse and AnalysisData Mining - Data Warehouse - Kunde



Data Warehouse and AnalysisData Mining - Data Warehouse - Donator



Data Warehouse and AnalysisData Mining - Verfahren

• Erkennung von Abhängigkeiten:- Aufdeckung statistischer Abhängigkeiten zwischen Variablen relevanter Datensätze -> Assoziationsregeln, Wahrscheinlichkeitsnetze- Bsp.: Warenkorbanalyse

• Klassifikation:- Zuordnung von Objekten zu verschiedenen vorgegebenen Klassen- Ableitung des Klassifikationsmodells aus einer Trainingsmenge- Bsp.: Kundenklassifkation bzgl. Schadensrisiko



Data Warehouse and AnalysisData Mining - Verfahren II

Clustering:- Einordnung ähnlicher Objekte in neu gebildete Gruppen daß Ähnlichkeit innerhalb der Gruppen möglichst groß sowie zwischen Gruppen möglichst gering- Bsp.: Segmentierung von Kunden im Marketing

Generalisierung:- Methoden zur Aggregation und Verallgemeinerung großer Datenmengen auf höherer Abstraktionsebene- Bsp.: interaktive Datenexploration



Sequenzanalyse:• Suche nach häufig auftretenden Episoden oder Ereignisfolgen in Datenbeständen mit (zeitlicher) Ordnung• Bsp.: Clickstream-Analyse

Regression:• Ermittlung des Ursache-Wirkung-Zusammenhangs zwischen einzelnen Merkmalen• Bsp.: Entwickung von Aktienkursen

Data Warehouse and AnalysisData Mining - Verfahren III



Data Warehouse and AnalysisData Mining - Verfahren - Beispiele (Clickstream)

Cognos PowerPlay • Clickstream-Verhalten der Besucher Ihrer Website nachvollziehen und multidimensional analysieren.

Antworten und Ergebnisse zu Fragestellungen wie: • Welches Unternehmen besuchte meine Website? • Für welche Web-Seiten interessieren sich meine Kunden besonders? • Wie navigiert der Besucher durch meine Web-Seiten? • Wie lange hält sich der Besucher auf den einzelnen Web-Seiten auf? • Wann wird meine Website am häufigsten besucht?



Data Warehouse and AnalysisData Mining - Verfahren - Beispiele (Clickstream)



Data Warehouse and AnalysisData Mining - Verfahren - Beispiele (Clustering)



Data Warehouse and AnalysisData Mining - Verfahren - Beispiele (Klassifikationen)



Data Warehouse and AnalysisData Mining - Verfahren - Beispiele (Assoziationsregeln)

Ableitung von Regeln aus Itemsets: „Wenn ein Kunde Milch kauft, dann kauft er auch Butter.“ !



Data Warehouse and AnalysisData Mining - Verfahren - Beispiele (Decision Tree)



Data Warehouse and AnalysisData Mining - Verfahren - Beispiele (weitere)



Data Warehouse and AnalysisData Mining - Weitere Anwednungen



Data Warehouse and AnalysisData Mining - Weitere Methoden und Techniken

Aktienkurse, Bildauswertung, Biometrie, Meteorolgie



Data Warehouse and AnalysisData Mining - Weitere Methoden und Techniken



Data Warehouse and AnalysisData Mining - What it does

• Discovers facts and data relationship

• find patterns - Examples ?

• determines rules - Examples ?

• Retains and reuses rules - Example ?

• Present Information for the users

• may take many hours

• needs little human intervention (Einmischung)

• but requires knowledgeable people to analyze results !



Data Warehouse and AnalysisData Mining - What it does



Data Warehouse and AnalysisData Mining and OLAP



Data Warehouse and AnalysisData Mining Tools - Kriterien



Data Warehouse and AnalysisData Mining Tools - Kriterien II



Data Warehouse and AnalysisData Mining Tools - Kriterien III



Data Warehouse and AnalysisData Mining Tools - Kriterien IV



Data Warehouse ProjectsThe Business Case for a Data Warehouse - Example

Wal * Mart (www.wal-mart.com)

• Marktführer im amerikanischen Einzelhandel

• Unternehmensweites Data Warehouse- Größe: ca. 25 TB- Täglich bis zu 20.000 DW-Anfragen- Hoher Detaillierungsgrad (tägliche Auswertung von Artikelumsätzen, Lagerbestand Kundenverhalten)- Basis für Warenkorbanalyse,- Kundenklassifizierung, ...



Data Warehouse ProjectsThe Business Case for a Data Warehouse - Example II

• Überprüfung des Warensortiments zur Erkennung von Ladenhütern oder Verkaufsschlagern

• Standortanalyse zur Einschätzung der Rentabilität von Niederlassungen

• Untersuchung der Wirksamkeit von Marketing-Aktionen

• Auswertung von Kundenbefragungen, Reklamationen bzgl. Bestimmer Produkte etc.

• Analyse des Lagerbestandes

• Warenkorbanalyse mit Hilfe der Kassenbons



Data Warehouse ProjectsThe Business Case for a Data Warehouse - Example III

Beispiel einer Anfrage:

Welche Umsätze sind in den Jahren 1998 und 1999 in den Abteilungen Kosmetik, Elektro und Haushaltswaren in den Bundesländern Sachsen-Anhalt und Thüringen angefallen ?



Data Warehouse ProjectsThe Business Case for a Data Warehouse - Example IV



Data Warehouse ProjectsThe Business Case for a Data Warehouse - Example V



Data Warehouse ProjectsThe Business Case - ROI

“Data Warehousing, often described as the ‘holy grail’ that will lead companies to success through a better understanding of their business, is delivering on it’s promise …”

Average Three Year ROI:

Enterprise Data Warehouse ROI - 322%

Discrete Data Warehouse ROI - 533%

Source International Data Corporation



Data Warehouse ProjectsThe Business Case for a Data Warehouse



Data Warehouse ProjectsThe Business Case DWH

A well rounded and complete Business Case should include a picture of:

• the likely Benefits to the company

• an indication of the Costs of the solution: both initial and year on year

• an indication of the Risks, together with any risk mitigation (Minderung)



Data Warehouse ProjectsThe Business Case DWH - Benefits

Categorizing

• Tangible (greifbare) Benefits:

- cost savings associated with the cost reduction in OLTP

- DWH will remove the need to update the old mainframe

• Intangible Benefits:

- e.g. organization decisions making capabilities being enhanced



Data Warehouse ProjectsThe Business Case DWH - Benefits

Categorizing by Objectives (Zielen)

• increased revenue (Einkuenfte)

• decreased costs

Quantifying the Benefits

• Time

- reducing cycle time to perform and activity

• Quantity

- e.g. Reduced customer defection by 5% within 1 year to doubled profit

• Quality

- e.g. Increased Staff satisfaction = increased customer satisfaction = reduction in churn (Beschwerde) = savings in acquisition costs



Data Warehouse ProjectsThe Business Case for a DWH - Costs



Data Warehouse ProjectsThe Business Case for a DWH - Costs II



Data Warehouse ProjectsThe Business Case for a DWH - Risks

Business Environment

• political and cultural world within which the company operates

- dependencies to other companies (network, merger, acquisitions)

- corporate strategy changes

- departmental politics

• Effective sponsorship

• change of the organization itself brought about by the Warehouse



Data Warehouse ProjectsThe Business Case for a DWH - Risks

Technical Environment

• new technologies vers old

• technical surprises

• lack of understanding the source system

• interfaces to other systems

Project Risks

• resources ?!

• Inter project dependencies

Project Management !!!



Data Warehouse ProjectsOverwiev - Die Andersartigkeit des DW-Projektes

• Durch die Größe der Datenbasis müssen frühzeitig Überlegungen der Datenbankadministration und Performancesicherung mit einbezogen werden

• Auch dem effizienten Import der Daten muss viel Zeit gewidmet werden

• Flexible Architektur nötig, da kein Unternehmen seinen künftigen Informationsbedarf voraussehen

• DW muss so aufgebaut werden, dass es sich ständig verändern kann

• Gefahr beim Wasserfall-Modell: Paralyse durch Analyse; man wird nie mit analysieren fertig und setzt somit nie um



• Ein DW ist i.d.R. breit angelegt und umfaßt meist große Datenbanken mit über 100 Gbyte

- Fehler im System-/HW-Aufbau ‚rächen‘ sich unmittelbar

• Die Anforderungen an ein DW sind i.d.R. nur sehr unvollständig definierbar und ändern sich zudem im Laufe der Zeit

- Damit steigt die Gefahr einer ständigen Veränderung der Anforderungen ohne Fertigstellung „Paralyse durch Analyse“

• Oftmals werden im Zusammenhang mit einem DW auch die Geschäftsprozesse überarbeitet

• Zeitliche Dimension: 18-24 Monate

Data Warehouse ProjectsOverwiev - Die Andersartigkeit des DW-Projektes II



Data Warehouse ProjectsProject Management Methods

Why ?

Success is composed of:

• On time delivery, within budget costs

• contracted functionality delivered

• happy clients !

Which ?

• E.g. Oracle: Data Warehouse Method

• e.g. Roche: Price Waterhouse Coopers Summit D

• In-house used Methods



Data Warehouse ProjectsProject Management - Tasks

• Control and Reporting

- determine scope and approach (Zweck) of the project

- manage change and control risks

- report progress status externally

- control the quality plan

• Work Management

- define, monitor and direct all work performed on the project

- financial view of the project



Data Warehouse ProjectsProject Management - Tasks II

• Resource Management

- helps to provide the project with right level of staffing (Mitarbeiter) and skills

• Quality Management

- implement quality measures to verify the project meets the client’s purpose

• Configuration Management

- store, organize, track and control all documents and deliverables

- Computerized System Validation



Data Warehouse ProjectsProject Management - Phases



Data Warehouse ProjectsProject Management - Phases - Strategy



Data Warehouse ProjectsProject Management - Phases - Strategy II

• focus: understanding the business goals and initiatives

• defining the purpose and objectives for the total DW solution (vision, big picture)

• key outputs: defining the implementation and infrastructure development

• business case with measurable objectives

• DW architecture and technical architecture, strategies for each component of DW

• Project Plan



Data Warehouse ProjectsProject Management - Phases - Definition



Data Warehouse ProjectsProject Management - Phases - Definition II

• to define the scope and objectives for the incremental development effort while complying (vergleichen) with the enterprise vision

• to create initial models

• to document data sources

• to define data quality

• to create technical architecture and DW architecture for the scoped solution

• tactical plans for addressing data acquisition, data access, DW administration, Training, meta data management



Data Warehouse ProjectsProject Management - Phases - Analysis



Data Warehouse ProjectsProject Management - Phases - Analysis II

• to formulate the detailed requirements for the selected increment

• focus is on the user’s information, data acquisition and data access requirements for business analysis and decision making

• refresh cycles, data mappings

• to produce relational and/or multidimensional modal as appropriate (angemessen)

• requirements for hardware, software, network, backup and recovery (credit application !)



Data Warehouse ProjectsProject Management - Phases - Design



Data Warehouse ProjectsProject Management - Phases - Design II

• to translate analysis phase requirements into detailed desing specifications while taking into account the technical architecture and available technologies

• data acquisition and load modules are designed, data elements, levels of summarization and granularity are validated, data integrity is checked, metadata docuemented

• data access, query, reporting components are defined

• using the logical models, detailed data requirements data mappings, the physical structures for relational/ multidimensional metadata database objects are designed



Data Warehouse ProjectsProject Management - Phases - Build



Data Warehouse ProjectsProject Management - Phases - Build II

• to create and test

- the database structures, data acquisition modules, DW administration tools, metadata modules, data access modules, reports and queries

- test scripts

• to develop, integrate and test the increment before it is prepared for the transition phase

• user and operation guides, technical and metadata references are produced

• training database is developed, training material are completed



Data Warehouse ProjectsProject Management - Phases - Transition



Data Warehouse ProjectsProject Management - Phases - Transition II

• to install the incremental solution

• to prepare the client personnel to use and manage the solution

• to go to production and begin managing the growth and maintenance of the Warehouse

• Monitoring

• user acceptance tests



Data Warehouse ProjectsProject Management - Phases - Discovery



Data Warehouse ProjectsProject Management - Phases - Discovery II

• to identify and plan for the next increment

• to select the next effort based on business need and DW infrastructure need

• to evaluate the implemented increment and identify increment opportunities (Moeglichkeiten)

• user/client involvement

• “lessons learned”



Data Warehouse ProjectsProject Management - Processes



Data Warehouse ProjectsProject Management - Roles



Data Warehouse ProjectsBusiness Requirements

Questions Answers

Who defines the business benefit ?

Who derives the business benefit ?

Who holds the purse string ?

Who do we need to impress ?

Who needs a Data Warehouse ?

The Business

The Business

The Business

The Business

The Business !IT ?



Data Warehouse ProjectsBusiness Requirements Definition Process

• defines the requirements

• clarifies the scope

• establishes the implementation roadmap

• with the direction of the client organization:

- definition of strategic business goals and initiatives

- used to direct the strategies, purpose and goals of the DWH solution



Data Warehouse ProjectsBusiness Requirements Definition Process II

Early in the process:

• the focus is on the enterprise aspect of the DW solution

- information requirements

- subject areas

- implementation roadmap

- business case

Process continues …

• scoping the solution to be developed and delivered

• identifying the client’s information needs

• modeling the requirements



Data Warehouse ProjectsBusiness Requirements II

Analyze the business NOT the data !

- Identify the business events that are of interest

- a single business event may result in a number of transactional records

- some key events may be masked (verdeckt) or not recorded at all

- the business meaning is critical

- business meaning may also enforce operational requirements on the Warehouse



Identify the types of users - to support their needs effectively

• Monitor- status reports

• Manager- overview

• Investigator- identify meaning/reasons of anomalies, power drilling

• Innovator- details, multi-step ananlysis

• Communicator- identify, acquire and retain users

Data Warehouse ProjectsBusiness Requirements III



Data Warehouse ProjectsSolution Definition Strategies



Data Warehouse ProjectsSolution Definition Strategies II



Data Warehouse ProjectsSolution Definition Strategies III



Data Warehouse ProjectsSolution Definition Strategies IV

• “Big Bang”

• Independent Data Mart

• Incremental Data Warehouse top- down

• Incremental Data Warehouse bottom-up

• Migration

- Independent Data Mart



Data Warehouse ProjectsSolution Definition Strategies - „Big Bang“

• top-down “big bang” is a high risk

• extended time to achieve business benefits

• requirements will change during analysis

• longer and deeper “valley of despair”

• if the business is being re-engineered, the Data Warehouse may not have management focus

• but having a “big picture” before starting a DW (vision)

Clients:

• start-up (e-) business where IT is the key enabler (Amazon.com)

• organizations where information is seen as critical

• the foolish !



Data Warehouse ProjectsSolution Definition Strategies - Independent Data Marts+ low entry costs

+ fast to accrue (zufallen) business benefits

+ Adopted easily be LOB (line of business)

- islands of information - lack any synergy among the subject area

- no high-level understanding of business needs

- no future direction esteblished

- no cross functional view of the business (no single version of truth)

Clients

• immediate needs outweigh (ueberwiegen) potential future benefits

• powerful and dynamic LOB management

• smaller companies or budget held at LOB level



Data Warehouse ProjectsSolution Definition Strategies - Top-Down Incremental

+ provides relatively quick implementation & payback

+ significant lower risk than “Big Bang”

+ achieves synergy among subject areas - one version of truth

- more difficult to “sell” because of higher up-front costs

Clients:

• cross functional reporting seen as important

• strategic vision

• matrix management with an open view to information

• organizations that believe the press about DW benefits

• organizations that are trying to re-align business & IT



Data Warehouse ProjectsSolution Definition Strategies - Bottom-Up Incremental

+ proof of concept type of approach proves the “technical” concept quickly

+ easier product lead sale

- tenets (Grundsaetze) are completely compromised

- high costs of re-engineering between increments

- cultural rejection by the next LOB as definitions are imposed (aufgezwungen)

Clients:

• IT lead Data Warehouse project

• IT attempting to regain (zurueckgewinnen) or maintain control

• Nike IT culture - Just do it !

• concerns about overall risk & benefit, fixed price DW implementations



Data Warehouse ProjectsSolution Definition Strategies - DM-DW Migration

+ client/user has matured through the use of DM’s, derived business value and moved on

+ sound (vernuenftig) approach to IT

+ strong alignment business & IT

- Benefits are mainly in terms of organization capability & readiness

Clients

• external consulting used rather than internal IT project

• balance of power lies with the business not IT

• new senior appointment wants it this way



Data Warehouse ProjectsMeeting the Technical Challenge - Tenets

Data Warehouse Tenets (Grundsaetze)

• Extensible

- possible to add new types of transactional data as well as new levels of aggregations as information change over time

• Scalable

- DW may grow by an order of magnitude (Groessenordnung) over time (transactions and business)

• Flexible

- flexible to support all types of access (multidimensional, ad-hoc, drill-down)



• Integrated

- any solution must be fully integrated with existing systems and operational environments

- data from multiple disparate systems

• Reliable (zuverlaessig)

- all data have to be accurate and consistent for a given point in time

• Manageable

- trade off (Kompromis) between the cost of automating any solution and cost of managing a system on a day to day basis

• Accessible

- 24/7, information must be timely and represented in a useful fashion

Data Warehouse ProjectsMeeting the Technical Challenge - Tenets II



Data Warehouse ProjectsMeeting the Technical Challenge - Summary

data warehouse day 3

Documents