oracle warehouse technologie single-engine-based-data-warehouse

Oracle Warehouse TechnologieSingle-Engine-Based-Data-Warehouse

Phasen der Data Warehouse Entwicklung mit Oracle Warehouse Builder 10g R2 (OWB)

Stichpunkte zuRessourcen – schonenden Techniken

mit dem Oracle – basiertenData Warehouse

Alfred SchlaucherLeitender Berater Business Integration & Data Warehouse ORACLE Deutschland GmbH

Tel.: 040 / 89091-132Email: Alfred.Schlaucher@Oracle.com

Themen

Oracle Warehouse Builder 10g R2 (OWB)- allgemein

Phasen der Data Warehouse Entwicklung- unterstützt durch OWB

Weitere Informationen und Umsetzung

businessintelligence &data warehouse

Themen

Oracle Warehouse Builder 10g R2 (OWB)- allgemein

Phasen der Data Warehouse Entwicklung- unterstützt durch OWB

Weitere Informationen und Umsetzung

businessintelligence &data warehouse

Verwaltung und DokumentationMetadatenOwnerschaftenGrid Control

Aufbau und Verwaltung von Data Warehouse-Umgebungen

Effiziente Datenhaltung SpeichertechnikILMHardwareASMOLAP

Datenintegrationschnelles Bereitstellen DB-basiertes Laden MDMETL-Option Qualitäts-

managementData ProfilingData Auditing Daten-Zugriff

SecurityMandanten BI-Anwendungen

Standard-Berichte Interaktive BerichteData MiningKomplexe Analysen

Oracle Warehouse Builder

Design des kompletten Data Warehouse SystemsLogisches Design und BeschreibungsinformationenPhysisches Oracle Datenbank DesignFast alle Datenbankobjekte von Oracle 10g

Bereitstellung der Datenbeschaffungsroutinen Runtime – System Universelles Metadatenrepository Automatisiertes ETL durch Scriptsprache Data Quality / Data Profiling Zugang zu allen EAI – Komponenten von

Oracle 10g

Immer mehr Anwenderbenutzen Daten

Die Anzahl der Systeme und damit der

Schnittstellen steigt

Die Bereitsstellungszeitder Daten wird

zunehmend kürzer

Datenmengenwachsen

Herausforderungenfür

Datenintegrationund

Datenmanagement

Neue Anforderungen an Datenintegration und Datenmanagement

Datenintegrations- und Datenmanagementaufgaben Zusammenführen von Daten aus heterogenen Systemen Korrigieren von Daten

Garantieren von Datenqualität

Datenmigration von System zu System Harmonisieren von Datenbeständen

Inhaltliches Angleichen

Synchronisierenz. B. Abstimmung von verschiedenen Schlüsseln

Zuliefern von DatenBenutzergerechtes Bereitstellen

Verwalten von Datenbeständenz. B. Historisieren / Archivieren / ILM

„Lösungen“ der Vergangenheit

Programmierung von HandZerstreute Programm-SourcenFehler bei der EntwicklungUnnötige Doppelarbeit

Schlechte oder fehlende DokumentationSchlechte WartbarkeitEnorme Folgekosten

Unkündbare „Inselexperten“ Immer wieder „Katastrophen“

im Echtbetrieb

Wie wardas nur?

Die Geschichte der ETL-Tools geht in Richtung integrierter Werkzeuge

Handprogrammierung

1992 1996 2000

Programm-generatoren

SeparateEngine-gestützteETL-Werkzeuge

DatenbankbasierteETL-Werkzeuge

2005

Warehouse Datenbank

TabellenIndex

ViewMView

SequenzFunctionProcedure

Cube

Log

Access/Excel

MessageBroker

Siebel

Peoplesoft

Webservices

eMail

DB2 OS390, UDBSybase, Informix,SQL-Server...

Oracle (Remote)

XML

PL/SQLUTL_FILE

XML

DB-Link

Queue

Gateway

ODBC DB-Link

Queue

CDCtcp

Adapter

StreamsExt. TableSAP Int.

Schnittstellenkomponenten Oracle Data Warehouse

XMLPort

XML

FlatFile

FlatFile

FTPPort

FlatFile

SQL Loader

XML

In MemoryIn Memory nnnn JCAJCA COM+COM+ SOAPSOAP

WSIF & JBIWSIF & JBI

Enterprise Service BusEnterprise Service BusRoutingRouting QOSQOS BPELBPEL TransformTransform RulesRules

Repository

Variablen Variablen

Steuertabellen

Metadaten gestützte Steuerungslogik für das Data Warehouse

Workflow / BPEL

A1

Datenbank-basiertes Laden

Datenbank – basiertes ETL

SQL basiert, d. h. die Oracle Datenbank wird ausgenutztMöglichkeit primär mengenbasierte Operationen durchzuführenWesentlich höhere PerformanceAutomatisiertes Datenbankgeregelte ParallelisierenDatenbankgestütztes Ressources - Management

Unterstützung aller aktuellen Datenbank – ETL – Funktionen wie

Multiple InsertsMerge (Insert/Update)Direct Path LoadTable FunctionsPartition Exchange and Load

Datenbank – basiertes ETL

Vollständige Hints – Bibliothek Verwendung aller Datenbank – Funktionen, z. B.

auch analytische FunktionenIm Gegensatz zu den von 3. Herstellern nachgebildeten z. T. unvollständigen Funktionen (Beispiel SQL CASE, Decode)

Datennahes EntwickelnLeichtes performantes und mengenbasiertes Updaten von SätzenAusnutzen temporärere Strukturen

Temp – TablesCache – Tables

Ausnutzen besonders schneller Tabellen – ObjekteIndex – Based Tables

Direkter Zugriff auf Tabelleninhalte

Datenbank - basiertes ETL

Nähe zu KatalogstrukturenAlle Informationen stehen sofort zur Verfügung

Komplett – Definition aller physikalischen Objekte im Data Warehouse

(Tables, Index, Materialised Views, Partitioning ...)

Datenbank – basiertes ETLim Zusammenhang mit OWB

ETL - Integriertes Data QualityData Cleansing / Data Profiling

ETL – Makro – Bildung / Experts Integrierte datenbankbasierte Workflow –

Umgebung Web – basiertes Auswerten von Metadaten und

Laufzeitergebnissen Unterstützung der Datenbank – Near Realtime –

Funktionalität wie Queues, Streams, CDC, Web Services

Workflow-Steuerung

ColumnTransformation

Tabellen-Mapping

Teil-Prozess

Gesamt-Prozess

4 – Schichten Prozessverwaltung

Es gibt 3 Hauptgründe für den Einsatz von OWB

1. Performance2. Effizientere Warehouse Architekturen3. Preis

Datenmodeller

Change Manager

Data Viewer

Repository Browser

Mapper

Control Center

Scheduler

Runtime Audit

Process Editor

Rules Editor

Experts-Macros

Dependencies

Data Profiler

KomponentenOWB

Quell-Systeme Ziel-System

SRC DWHOracle 9i /10g Oracle 9i/10g

WarehousetabellenWarehouse

tabellenBestellung

Tabellen

WarehousetabellenWarehouse

tabellenWH_Trans-aktionen

Tabellen

My_ProjectPL/SQL

DesignMetadatenOWB-Modelle

RuntimeMetadaten(Deploys)

Unified Repository

OWB

Datenfluss

Deploy

Import

Design

LocationLOC_SRC

LocationLOC_DWH

Modul Bestelldaten Modul Warehouse

Bestellung WH_Transaktionen

Das OWB Entwicklungs – Szenario

Warehouse Datenbank

TabellenIndex

ViewMView

SequenzFunctionProcedure

Cube

Log

Access/Excel

MessageBroker

Siebel

Peoplesoft

Webservices

eMail

DB2 OS390, UDBSybase, Informix,SQL-Server...

Oracle (Remote)

XML

PL/SQLUTL_FILE

XML

DB-Link

Queue

Gateway

ODBC DB-Link

Queue

CDCtcp

Adapter

StreamsExt. TableSAP Int.

Schnittstellenkomponenten Oracle Data Warehouse

XMLPort

XML

FlatFile

FlatFile

FTPPort

FlatFile

SQL Loader

XML

In MemoryIn Memory nnnn JCAJCA COM+COM+ SOAPSOAP

WSIF & JBIWSIF & JBI

Enterprise Service BusEnterprise Service BusRoutingRouting QOSQOS BPELBPEL TransformTransform RulesRules

Themen

Oracle Warehouse Builder 10g R2 (OWB)- allgemein

Phasen der Data Warehouse Entwicklung- unterstützt durch OWB

Weitere Informationen und Umsetzung

businessintelligence &data warehouse

Laufzeit-management

Prozess-analyse

Quellen-studium

Ziel-Daten-

modelle

Daten-bank-

entwurf

Test-daten

Info FAfehlerhafteProzesse

InfoFA

Daten-transport

System-entwurf

ProzessmodellObjektmodell

Data ProfilingReverse Engineering

BebauungspläneKomponenten

3NFDimensionalMdimensional

DDL / DML

ETL

Jobmanagement

Metadaten

Knowledge

Weiter

Zurück

Hinterlegung fachlicherBeschreibungen

Zrück

Analyse der Quelldaten- Data Profiling

Zurück

Das gesamte Systemmodellieren

Zurück

Datenmodelle entwerfen

Zurück

Komplette Definition von Tabellen

Zurück

Transformationenmit Mappings

Zusätzliche Hilfsfensterdes Mappingeditors

Operatoren desMappingeditors

Zurück

Testdaten-generierung

Zurück

Zusammenfassen von Mappings zu Prozessen

Prozesssteuerung z. B.mit Schleifen und Variablen

Reporting über stattgefundene Ladeläufe

Zurück

Abhängigkeits- und Auswirkungsanalyse

Zurück

Individuelle Listenreports über Metadaten

HTMLDB

Zurück

Themen

Oracle Warehouse Builder 10g R2 (OWB)- allgemein

Phasen der Data Warehouse Entwicklung- unterstützt durch OWB

Weitere Informationen und Umsetzung

businessintelligence &data warehouse

Weitere Infoshttp://www.oracle.com/technology/products/warehouse/index.html

Die neue Software OWB 10G R2 (Paris) kann über OTN bezogen werden.http://www.oracle.com/technology/software/products/warehouse/index.html

Email: Alfred.Schlaucher@Oracle.comoderTel.: 040 / 89091-132

Neue Projekte sollten nur mit diesem Release beginnen.

Step By Step kann bestellt werden bei:

Vorgehensweise Entwickeln Multidimensionale Strukturen mit OWB

DefinitionDimensionenund Fakten

Binding /AbleitungRelationaleTabellen

GenerierungDimensionsund Tabellen

DefinitionMappingsDim + Fakten

GenerierungMappings(PLSQL)

Zuweisen AnalyticalWorkspace +Def. Aggregationen

GenerierungDimensionaleObjekte in AnalyticalWorkspace

Definition1 MappingCube

GenerierungMappingsCube DML

Data Object Editor Control Center Mapping Editor Control Center

Themen

Einführung: Multidimensionale Modelleim Oracle Data Warehouse

Oracle Warehouse Builder 10g R2 (OWB)- allgemein

Erstellen multidimensionaler Modelle mit OWBBeispielscreens: Wizard zur Erstellung einer ZeitdimensionData Object EditorDeployment Control CenterDer Mapping EditorAbleiten EUL für Discoverer

Weitere Aspekte OWB Umsetzung

businessintelligence &data warehouse

Verschiedene Arten der Erstellung der Zeitdimension

Storage TypeROLAP / MOLAP

Festlegen Anzahl Jahre

Auswahl Hierarchie-Level

Mapping

DimensionalTable

Table

Sequence

Übersicht generierteObjekte zum Aufbauder Zeitdimension

Generiertes Mappingzum Laden der Kalenderdaten

Ergebnisdaten(DatenViewer)

Themen

Einführung: Multidimensionale Modelleim Oracle Data Warehouse

Oracle Warehouse Builder 10g R2 (OWB)- allgemein

Erstellen multidimensionaler Modelle mit OWBBeispielscreens: Wizard zur Erstellung einer ZeitdimensionData Object EditorDeployment Control CenterDer Mapping EditorAbleiten EUL für Discoverer

Weitere Aspekte OWB Umsetzung

businessintelligence &data warehouse

Data Objekt Editor

Eine Dimensiondefinieren- Dimensionsattribute

Eine Dimensiondefinieren- Dimensionslevel

Eine Dimensiondefinieren- Dimensionshierarchie

Eine Dimensiondefinieren- Speicherart

Sparsity-Eigenschaftendefinieren

Die Art der Vorberechnungenfür die Kennzahlen festlegen

Themen

Einführung: Multidimensionale Modelleim Oracle Data Warehouse

Oracle Warehouse Builder 10g R2 (OWB)- allgemein

Erstellen multidimensionaler Modelle mit OWBBeispielscreens: Wizard zur Erstellung einer ZeitdimensionData Object EditorDeployment Control CenterDer Mapping EditorAbleiten EUL für Discoverer

Weitere Aspekte OWB Umsetzung

businessintelligence &data warehouse

Control Center

Generierter Codezur Definition eines Würfels

Themen

Einführung: Multidimensionale Modelleim Oracle Data Warehouse

Oracle Warehouse Builder 10g R2 (OWB)- allgemein

Erstellen multidimensionaler Modelle mit OWBBeispielscreens: Wizard zur Erstellung einer ZeitdimensionData Object EditorDeployment Control CenterDer Mapping EditorAbleiten EUL für Discoverer

Weitere Aspekte OWB Umsetzung

businessintelligence &data warehouse

Mapping zumBefüllen einer Zwischentabelle

Operatoren desMappingeditors

Einfaches Mapping zur Befüllung eines Würfels- Eingeblendet ist die OLAP-Sicht

Themen

Einführung: Multidimensionale Modelleim Oracle Data Warehouse

Oracle Warehouse Builder 10g R2 (OWB)- allgemein

Erstellen multidimensionaler Modelle mit OWBBeispielscreens: Wizard zur Erstellung einer ZeitdimensionData Object EditorDeployment Control CenterDer Mapping EditorAbleiten EUL für Discoverer

Weitere Aspekte OWB Umsetzung

businessintelligence &data warehouse

Themen

Einführung: Multidimensionale Modelleim Oracle Data Warehouse

Oracle Warehouse Builder 10g R2 (OWB)- allgemein

Erstellen multidimensionaler Modelle mit OWBBeispielscreens: Wizard zur Erstellung einer ZeitdimensionData Object EditorDeployment Control CenterDer Mapping EditorAbleiten EUL für Discoverer

Weitere Aspekte OWB Umsetzung

businessintelligence &data warehouse

Process-Editor

Metadaten-Dependency-Manager

Metadaten-Browser (Web)

Job-Kontrolle im Web