open source datawarehouse für das it-management...openbravo datenladung (etl-prozess) kombination...
TRANSCRIPT
![Page 1: Open Source Datawarehouse für das IT-Management...OpenBravo Datenladung (ETL-Prozess) Kombination von Schlüsselmerkmalen Verknüpfung von unterschiedlichen Eingangsquellen Extraktion](https://reader030.vdocuments.us/reader030/viewer/2022040821/5e6ac798874fb76e6d5d24d1/html5/thumbnails/1.jpg)
Open Source Datawarehouse für das IT-Management
09.06.2010 – Linuxtag Berlin
Referent: Bernd Erk
![Page 2: Open Source Datawarehouse für das IT-Management...OpenBravo Datenladung (ETL-Prozess) Kombination von Schlüsselmerkmalen Verknüpfung von unterschiedlichen Eingangsquellen Extraktion](https://reader030.vdocuments.us/reader030/viewer/2022040821/5e6ac798874fb76e6d5d24d1/html5/thumbnails/2.jpg)
KURZVORSTELLUNG
ÜBERBLICK DATAWAREHOUSE
DATENINTEGRATION
DATENAUSWERTUNG
BEISPIELE
FRAGEN UND ANTWORTEN
DATENHALTUNG
ON TIME
ON TIME
ON TIME
ON TIME
ON TIME
ON TIME
ON TIME
3 SLIDES
2 SLIDES
1 SLIDES
4 SLIDES
1 SLIDES
4 SLIDES
4 SLIDES
DESTINATION TIME REMARK
Agenda
DATENORGANISATION ON TIME 1 SLIDES
![Page 3: Open Source Datawarehouse für das IT-Management...OpenBravo Datenladung (ETL-Prozess) Kombination von Schlüsselmerkmalen Verknüpfung von unterschiedlichen Eingangsquellen Extraktion](https://reader030.vdocuments.us/reader030/viewer/2022040821/5e6ac798874fb76e6d5d24d1/html5/thumbnails/3.jpg)
KURZVORSTELLUNG BOARDING
![Page 4: Open Source Datawarehouse für das IT-Management...OpenBravo Datenladung (ETL-Prozess) Kombination von Schlüsselmerkmalen Verknüpfung von unterschiedlichen Eingangsquellen Extraktion](https://reader030.vdocuments.us/reader030/viewer/2022040821/5e6ac798874fb76e6d5d24d1/html5/thumbnails/4.jpg)
Kurzvorstellung BERND ERK
32 Jahre seit 2007 bei der NETWAYS GmbH zuvor 8 Jahre im Bereich der IT-Architektur, Oracle und J2EE
– Datenbankoptimierung und Hochverfügbarkeit – High Performance Architekturen im SOA-Umfeld
Icinga Team Member
![Page 5: Open Source Datawarehouse für das IT-Management...OpenBravo Datenladung (ETL-Prozess) Kombination von Schlüsselmerkmalen Verknüpfung von unterschiedlichen Eingangsquellen Extraktion](https://reader030.vdocuments.us/reader030/viewer/2022040821/5e6ac798874fb76e6d5d24d1/html5/thumbnails/5.jpg)
Kurzvorstellung NETWAYS
Firmengründung 1995 GmbH seit 2001 Open Source seit 1997
20 festangestellte Mitarbeiter
Spezialisierung in den Bereichen Open Source Systems Management und Open Source Datacenter Infrastructure
![Page 6: Open Source Datawarehouse für das IT-Management...OpenBravo Datenladung (ETL-Prozess) Kombination von Schlüsselmerkmalen Verknüpfung von unterschiedlichen Eingangsquellen Extraktion](https://reader030.vdocuments.us/reader030/viewer/2022040821/5e6ac798874fb76e6d5d24d1/html5/thumbnails/6.jpg)
Unsere Kunden
![Page 7: Open Source Datawarehouse für das IT-Management...OpenBravo Datenladung (ETL-Prozess) Kombination von Schlüsselmerkmalen Verknüpfung von unterschiedlichen Eingangsquellen Extraktion](https://reader030.vdocuments.us/reader030/viewer/2022040821/5e6ac798874fb76e6d5d24d1/html5/thumbnails/7.jpg)
Unsere Leistungen
Monitoring Performance Management Configuration Management Service Management Knowledge Management Asset Management Identity Management Backup & Recovery
OS Systems Management OS Datacenter Infrastructure
High Availability Lösungen Cluster Lösungen Loadbalancing Virtualisierung Speicherlösungen Firewalls Datenbanken Voice over IP
Managed Services Monitoring HW Veranstaltungen
Open Source DataCenter Solutions
![Page 8: Open Source Datawarehouse für das IT-Management...OpenBravo Datenladung (ETL-Prozess) Kombination von Schlüsselmerkmalen Verknüpfung von unterschiedlichen Eingangsquellen Extraktion](https://reader030.vdocuments.us/reader030/viewer/2022040821/5e6ac798874fb76e6d5d24d1/html5/thumbnails/8.jpg)
Open Source Datacenter Conference
23. und 24. Juni in Nürnberg Themen
– High Availability – Cluster Solutions – Load Balancing – Firewalling – Large Scale Databases
Referenten von – Xing – Percona – Apache – SUN Microsystems
![Page 9: Open Source Datawarehouse für das IT-Management...OpenBravo Datenladung (ETL-Prozess) Kombination von Schlüsselmerkmalen Verknüpfung von unterschiedlichen Eingangsquellen Extraktion](https://reader030.vdocuments.us/reader030/viewer/2022040821/5e6ac798874fb76e6d5d24d1/html5/thumbnails/9.jpg)
Sonstiges
www.netways.de/jobs
![Page 10: Open Source Datawarehouse für das IT-Management...OpenBravo Datenladung (ETL-Prozess) Kombination von Schlüsselmerkmalen Verknüpfung von unterschiedlichen Eingangsquellen Extraktion](https://reader030.vdocuments.us/reader030/viewer/2022040821/5e6ac798874fb76e6d5d24d1/html5/thumbnails/10.jpg)
ÜBERBLICK DATAWAREHOUSE
BOARDING
![Page 11: Open Source Datawarehouse für das IT-Management...OpenBravo Datenladung (ETL-Prozess) Kombination von Schlüsselmerkmalen Verknüpfung von unterschiedlichen Eingangsquellen Extraktion](https://reader030.vdocuments.us/reader030/viewer/2022040821/5e6ac798874fb76e6d5d24d1/html5/thumbnails/11.jpg)
Datawarehouse Kriterien
„Ein Data-Warehouse ist eine themenorientierte, integrierte, chronologisierte und persistente Sammlung von Daten, um das Management bei seinen Entscheidungsprozessen zu unterstützen.“
Themenorientierung
Vereinheitlichung
Zeitorientierung
Beständigkeit
![Page 12: Open Source Datawarehouse für das IT-Management...OpenBravo Datenladung (ETL-Prozess) Kombination von Schlüsselmerkmalen Verknüpfung von unterschiedlichen Eingangsquellen Extraktion](https://reader030.vdocuments.us/reader030/viewer/2022040821/5e6ac798874fb76e6d5d24d1/html5/thumbnails/12.jpg)
Datawarehousing - Prozess
Datenintegration
Datenhaltung
Datenorganisation
Datenauswertung
One Way!
![Page 13: Open Source Datawarehouse für das IT-Management...OpenBravo Datenladung (ETL-Prozess) Kombination von Schlüsselmerkmalen Verknüpfung von unterschiedlichen Eingangsquellen Extraktion](https://reader030.vdocuments.us/reader030/viewer/2022040821/5e6ac798874fb76e6d5d24d1/html5/thumbnails/13.jpg)
DATENINTEGRATION BOARDING
![Page 14: Open Source Datawarehouse für das IT-Management...OpenBravo Datenladung (ETL-Prozess) Kombination von Schlüsselmerkmalen Verknüpfung von unterschiedlichen Eingangsquellen Extraktion](https://reader030.vdocuments.us/reader030/viewer/2022040821/5e6ac798874fb76e6d5d24d1/html5/thumbnails/14.jpg)
Datenquellen im IT-Servicemanagement
Monitoring Ticketing CMDB Updates
Accounting Stammdaten
Nagios Icinga OpenNMS Zabbix
Request Tracker OTRS Mantis
iDoIT OCS Inventory GLPI
Updian YaST RedHat Satellite
Traffic Bacula Backup
SugarCRM OpenBravo
![Page 15: Open Source Datawarehouse für das IT-Management...OpenBravo Datenladung (ETL-Prozess) Kombination von Schlüsselmerkmalen Verknüpfung von unterschiedlichen Eingangsquellen Extraktion](https://reader030.vdocuments.us/reader030/viewer/2022040821/5e6ac798874fb76e6d5d24d1/html5/thumbnails/15.jpg)
Datenladung (ETL-Prozess)
Kombination von Schlüsselmerkmalen
Verknüpfung von unterschiedlichen Eingangsquellen
Extraktion der relevanten Daten mit zeitlicher und organisatorischer Zuordnung
Anreicherung durch Drittinformationen
Validierung der geladenen Informationen
![Page 16: Open Source Datawarehouse für das IT-Management...OpenBravo Datenladung (ETL-Prozess) Kombination von Schlüsselmerkmalen Verknüpfung von unterschiedlichen Eingangsquellen Extraktion](https://reader030.vdocuments.us/reader030/viewer/2022040821/5e6ac798874fb76e6d5d24d1/html5/thumbnails/16.jpg)
Schlüsselbeziehungen
Monitoring
Hostname
CMDB Hostname
Customer
Stammdaten
Customer
Contact
Ticketing
Contact
Updates
Hostname
![Page 17: Open Source Datawarehouse für das IT-Management...OpenBravo Datenladung (ETL-Prozess) Kombination von Schlüsselmerkmalen Verknüpfung von unterschiedlichen Eingangsquellen Extraktion](https://reader030.vdocuments.us/reader030/viewer/2022040821/5e6ac798874fb76e6d5d24d1/html5/thumbnails/17.jpg)
ETL-Werkzeuge
Talend Open Studio – Synchronisation von Datenbanken – Multiformat und Multichannel Ein- und Ausgabe – Perl/Java-Generator
![Page 18: Open Source Datawarehouse für das IT-Management...OpenBravo Datenladung (ETL-Prozess) Kombination von Schlüsselmerkmalen Verknüpfung von unterschiedlichen Eingangsquellen Extraktion](https://reader030.vdocuments.us/reader030/viewer/2022040821/5e6ac798874fb76e6d5d24d1/html5/thumbnails/18.jpg)
DATENHALTUNG BOARDING
![Page 19: Open Source Datawarehouse für das IT-Management...OpenBravo Datenladung (ETL-Prozess) Kombination von Schlüsselmerkmalen Verknüpfung von unterschiedlichen Eingangsquellen Extraktion](https://reader030.vdocuments.us/reader030/viewer/2022040821/5e6ac798874fb76e6d5d24d1/html5/thumbnails/19.jpg)
Datenhaltung - Schematisch
Customers
Systems Time
CMDB
Fakten
SYSTEMS_FK TIME_FK
CUSTOMERS_FK CMDB_FK
Status Event
Duration
TIME_PK MONTH YEAR
CMDB_PK NAME
SERVICETIME WARRANTY
CUSTOMERS_PK NAME
ADDRESS CITY
SYSTEMS_PK NAME
IP RACK
![Page 20: Open Source Datawarehouse für das IT-Management...OpenBravo Datenladung (ETL-Prozess) Kombination von Schlüsselmerkmalen Verknüpfung von unterschiedlichen Eingangsquellen Extraktion](https://reader030.vdocuments.us/reader030/viewer/2022040821/5e6ac798874fb76e6d5d24d1/html5/thumbnails/20.jpg)
Datenhaltung – Datenbankkriterien
Auswahl der wichtigen Datenbankkriterien – Performante Storage-Engine (MySQL) – Verfügbare Optimizer – Ladefähigkeit – Partitionierung
MySQL im Warehouse Umfeld – MyISAM Durchsatz im Scaleout – Index Preloading – Cost based Optimizer – Compressed Tables – Partitioning (seit 5.1)
![Page 21: Open Source Datawarehouse für das IT-Management...OpenBravo Datenladung (ETL-Prozess) Kombination von Schlüsselmerkmalen Verknüpfung von unterschiedlichen Eingangsquellen Extraktion](https://reader030.vdocuments.us/reader030/viewer/2022040821/5e6ac798874fb76e6d5d24d1/html5/thumbnails/21.jpg)
Datenhaltung - Partitionierung
Kundentabelle
Region 0-25 Region 76-100 Region 51-75 Region 26-50
Range-Partition
Tabelle
Beispiel Range-Partitioning
![Page 22: Open Source Datawarehouse für das IT-Management...OpenBravo Datenladung (ETL-Prozess) Kombination von Schlüsselmerkmalen Verknüpfung von unterschiedlichen Eingangsquellen Extraktion](https://reader030.vdocuments.us/reader030/viewer/2022040821/5e6ac798874fb76e6d5d24d1/html5/thumbnails/22.jpg)
Datenhaltung - Partitionierung
Region 0-25 Region 76-100 Region 51-75 Region 26-50
Beispiel Pruning
select name from customers where region = 32
DB-Optimizer
![Page 23: Open Source Datawarehouse für das IT-Management...OpenBravo Datenladung (ETL-Prozess) Kombination von Schlüsselmerkmalen Verknüpfung von unterschiedlichen Eingangsquellen Extraktion](https://reader030.vdocuments.us/reader030/viewer/2022040821/5e6ac798874fb76e6d5d24d1/html5/thumbnails/23.jpg)
DATENORGANISATION BOARDING
![Page 24: Open Source Datawarehouse für das IT-Management...OpenBravo Datenladung (ETL-Prozess) Kombination von Schlüsselmerkmalen Verknüpfung von unterschiedlichen Eingangsquellen Extraktion](https://reader030.vdocuments.us/reader030/viewer/2022040821/5e6ac798874fb76e6d5d24d1/html5/thumbnails/24.jpg)
Datenorganisation
Selektion und Anordnung nach thematischen Bedürfnissen
Dimensionierung ist Basis für spätere Auswirkung
– Tickets in einem Zeitraum
– Incidents eines Kunden
– Events einer Gruppe von Systemen
Extrahierung von Teilmodellen zur leichteren Verarbeitung
![Page 25: Open Source Datawarehouse für das IT-Management...OpenBravo Datenladung (ETL-Prozess) Kombination von Schlüsselmerkmalen Verknüpfung von unterschiedlichen Eingangsquellen Extraktion](https://reader030.vdocuments.us/reader030/viewer/2022040821/5e6ac798874fb76e6d5d24d1/html5/thumbnails/25.jpg)
DATENAUSWERTUNG BOARDING
![Page 26: Open Source Datawarehouse für das IT-Management...OpenBravo Datenladung (ETL-Prozess) Kombination von Schlüsselmerkmalen Verknüpfung von unterschiedlichen Eingangsquellen Extraktion](https://reader030.vdocuments.us/reader030/viewer/2022040821/5e6ac798874fb76e6d5d24d1/html5/thumbnails/26.jpg)
Datenauswertung
Identifikation der KPI
– Events pro Kunde in einem angegebenen Zeitraum
– Events nach Update von Server in einem Zeitraum
– Hardwareabwicklung pro Komponente in einem Zeitraum
– Aufwand für Incidents eines Kunden
![Page 27: Open Source Datawarehouse für das IT-Management...OpenBravo Datenladung (ETL-Prozess) Kombination von Schlüsselmerkmalen Verknüpfung von unterschiedlichen Eingangsquellen Extraktion](https://reader030.vdocuments.us/reader030/viewer/2022040821/5e6ac798874fb76e6d5d24d1/html5/thumbnails/27.jpg)
Datenauswertung - Beispiel
Events pro Kunde in einem angegebenen Zeitraum
Monitoring
Hostname CMDB
Hostname
Customer
Stammdaten Customer
Contact
select event, hostname, customer
from monitoring, cmdb, stammdaten
where
monitoring.hostname = cmdb.hostname
and cmdb.customer = stammdaten.customer
group by customer
![Page 28: Open Source Datawarehouse für das IT-Management...OpenBravo Datenladung (ETL-Prozess) Kombination von Schlüsselmerkmalen Verknüpfung von unterschiedlichen Eingangsquellen Extraktion](https://reader030.vdocuments.us/reader030/viewer/2022040821/5e6ac798874fb76e6d5d24d1/html5/thumbnails/28.jpg)
Datenauswertung - Beispiel
Incidents nach Updates eines Kunden
Ticketing
Contact
Stammdaten Contact
Customer
CMDB Hostname
Customer
select incident, contact, customer, hostname
from ticketing, stammdaten, cmdb, updates
where
ticketing.contact = stammdaten.contact
and stammdaten.customer = cmdb.customer
and cmdb.hostname = updates.hostname
where updates.hostname = ‘updated‘
group by update
Updates
Hostname
![Page 29: Open Source Datawarehouse für das IT-Management...OpenBravo Datenladung (ETL-Prozess) Kombination von Schlüsselmerkmalen Verknüpfung von unterschiedlichen Eingangsquellen Extraktion](https://reader030.vdocuments.us/reader030/viewer/2022040821/5e6ac798874fb76e6d5d24d1/html5/thumbnails/29.jpg)
Reporting
Berichtserstellung mit Open Source BI Werkzeugen
Jasper
Birt
Pentaho
Automatische Versendung der Berichte
Anreicherung der Berichte mit zusätzlichen Informationen
![Page 30: Open Source Datawarehouse für das IT-Management...OpenBravo Datenladung (ETL-Prozess) Kombination von Schlüsselmerkmalen Verknüpfung von unterschiedlichen Eingangsquellen Extraktion](https://reader030.vdocuments.us/reader030/viewer/2022040821/5e6ac798874fb76e6d5d24d1/html5/thumbnails/30.jpg)
Beispielreport
![Page 31: Open Source Datawarehouse für das IT-Management...OpenBravo Datenladung (ETL-Prozess) Kombination von Schlüsselmerkmalen Verknüpfung von unterschiedlichen Eingangsquellen Extraktion](https://reader030.vdocuments.us/reader030/viewer/2022040821/5e6ac798874fb76e6d5d24d1/html5/thumbnails/31.jpg)
FRAGEN UND ANTWORTEN BOARDING
![Page 32: Open Source Datawarehouse für das IT-Management...OpenBravo Datenladung (ETL-Prozess) Kombination von Schlüsselmerkmalen Verknüpfung von unterschiedlichen Eingangsquellen Extraktion](https://reader030.vdocuments.us/reader030/viewer/2022040821/5e6ac798874fb76e6d5d24d1/html5/thumbnails/32.jpg)
Fragen und Antworten Jetzt und Hier
[email protected] http://www.twitter.com/netways
www.netways.de blog.netways.de