business intelligence big data? - doag.org · kafka / mqtt / rest = one way = request/response i...

DOAG Data Analytics Community

Informiert zu BI und Big Data

2017

DOAG Data Analytics Community

Business Intelligence oder

Big Data?

Oder doch

BI und Big data?

Interaktion: Jetzt; Vorurteile „abladen“

2

BI / DWH Big Data

Warum Big Data? Paradigmenwechsel!

3

Alter Ansatz: Weniger Datenproduzenten, aber viele Anwender

Das aktuelle Modell: Alle generieren Daten und sind Konsumenten

BI/ DWH

4

Was ist BI bzw. BI/DWH?

5

Business Intelligence (BI) ist ein unternehmensweites Konzept, das den Zugriff,

die Analyse und das Reporting von im Unternehmen gespeicherten

Unternehmensdaten regelt.

Business Intelligence (BI) ist eine umfangreiche Kategorie von Anwendungen

und Technologien, mit denen sich Daten erfassen, speichern und analysieren.

BI soll es Unternehmensanwendern ermöglichen, bessere

Geschäftsentscheidungen zu treffen

Business intelligence (BI) is an umbrella term that includes the applications,

infrastructure and tools, and best practices that enable access to and analysis

of information to improve and optimize decisions and performance.

Business Intelligence (BI) beschreibt die auf eine Unterstützung, Durchführung

und Kontrolle betrieblicher Aktivitäten ausgerichtete Intelligenz (Einsicht) sowie

die zu ihrer Erzielung eingesetzten Konzepte, Methoden und

Informationssysteme. BI-Systeme sind informationsgetriebene

Entscheidungsunterstützungssysteme zur Gewinnung und Verbreitung von

Erkenntnissen für und über betriebliche Abläufe.

Funktionale BI/DWH Architektur

6

BI/DWH Architektur

7

Big Data

8

Was ist Big Data?

9

Big Data ist nicht neu, sondern nur die Fortschreibung bekannter Konzepte in Kombination

mit neuen Technologien. Big Data ist insofern keine Revolution, sondern vielmehr eine Stufe

in der Evolution zu einer stärker datenorientierten Unternehmensrealität.

Big Data setzt einen analytischen Fokus auf Basis von großen und vielfältig strukturierten

Datenmengen aus unterschiedlichen Quellen, die in der Regel unmittelbar nach Entstehung

der Daten erzeugt werden und aktuelle Maßnahmen und zukunftsorientierte Handlungen in

Bezug setzen. Damit grenzt sich Big Data tendenziell von der gelebten Realität älterer

Konzepte wie Business Intelligence ab. (tdwi)

In frühen Veröffentlichungen zum Thema wird das Phänomen Big Data häufig anhand einer

Negativabgrenzung bezüglich der Leistungsfähigkeit klassischer IT beschrieben - Big Data

liegt dann vor, wenn die Möglichkeiten der klassischen Datenhaltung, -verarbeitung und -

analyse auf konventioneller Hardware überstiegen. (tdwi)

Der Begriff „Big Data“ unterliegt als Schlagwort einem kontinuierlichen Wandel; so wird mit

ihm ergänzend auch oft der Komplex der Technologien beschrieben, die zum Sammeln und

Auswerten dieser Datenmengen verwendet werden

“Big data” is high-volume, -velocity and -variety information assets that demand cost-

effective, innovative forms of information processing for enhanced insight and decision

making. (Gartner)

Big Data: Definition über Abgrenzung

10

Big Data: Definition über Eigenschaften

11

Funktionale Architektur Big Data

12

Frag‘ den Papst:

“Data warehouse is an architecture and

Big Data is a technology. They are not the

same thing at all … There simply is not the

carefully constructed and carefully

maintained infrastructure surrounding Big

Data that there is for the data warehouse.

Any executive that would use Big Data for

Sarbanes-Oxley reporting or Basel II

reporting isn’t long for his/her job.”

http://www.forestrimtech.com/big-data-vs-data-warehouse

13

Bill Inmon zu

Big Data & BI/DWH

„It‘s a rennaisance that is happening here

… a Data Warehouse needs to encompass

Big Data and I hope that all folks working

with those (Big Data) topics realize that

they are part of the larger Data Warehouse

team“

„We want to use SQL and SQL like

languages but we don‘t want the RDBMS

storage constraints. The disruptive

solution: Hadoop“

http://www.cloudera.com/content/cloudera/en/resources/library/recordedwe

binar/building-a-hadoop-data-warehouse-video.html

Ralph Kimball zu

Big Data & DWH










http://www.cloudera.com/content/cloudera/en/resources/library/recordedwebinar/building-a-hadoop-data-warehouse-video.html













Big Data: Ist Big Data beherrschbar?

Big Data „in Ordnung bringen“

Daten-

akquisition

Daten-

aufbereitung

Daten-

speicherung

Daten-

Visualisierung

…

Ganzheitliche Sicht

Die Leinwand des Architekten

Data

Acquisition

Data

Sources

Governance

Organisation

Information

Provisioning Consumer

Data

Management

Legal ComplianceQuality & Accountability SecurityMetadata Management Master Data Management

IT Operations Business StakeholdersBI Competence Center

Un-/Semi-

structured Data

Structured

Data

Master & Reference

Data

Machine Data

Content

Serv

ices

(Pu

sh)

Co

nn

ecto

rs (

Pu

ll)

Str

eam

Batc

h/B

ulk

Incre

men

tal

Fu

ll

Raw Data at Rest

Standardized Data at Rest

Optimized Data at Rest

Data Lab (Sandbox)

Data Refinery/Factory

Virtualization

Raw Data in Motion

Standardized Data in Motion

Optimized Data in Motion

Query

Service / API

Search

Information

Services

Data Science

Tools

Dashboard

Prebuild &

AdHoc BI Assets

Advanced Analysis

Tools

Ganzheitliche Architektur – BI /DWH Komponenten

Data

Acquisition

Data

Sources

Governance

Organisation

Information


Data

Management



Un-/Semi-

structured Data

Structured

Data

Master &

Reference

Data

Machine Data

Content

Serv

ices

(Pu

sh)

Co

nn

ecto

rs (

Pu

ll)

Str

eam

Ba

tch

/Bu

lk

Incre

me

nta

lFu

ll

Raw Data at Rest



Data Lab (Sandbox)


Virtualization

Raw Data in Motion



Query

Service / API

Search

Information

Services

Data Science

Tools

Dashboard

Prebuild & AdHoc BI Assets

Advanced Analysis

Tools

Core DWH

Data Marts

Staging Area

ETL

Ganzheitliche Architektur – Big Data Komponenten

Data

Acquisition

Data

Sources

Governance

Organisation

Information


Data

Management



Un-/Semi-structured Data

StructuredData

Master & Reference

Data

Machine Data

Content

Se

rvic

es

(Pu

sh)

Co

nn

ecto

rs (

Pu

ll)

Str

ea

mB

atc

h/B

ulk

Incre

me

nta

lFu

ll

Raw Data at Rest



Data Lab (Sandbox)


Merge Layer

Raw Data in Motion



Query

Service / API

Search

Information Services

Data Science Tools

Dashboard

Prebuild & AdHoc BI Assets

Advanced Analysis Tools

Event Hub

Stream Analytics

Hadoop Raw Data

Processed Files

NoSQL DB

SQL Engine

Take Away

.. Und die Antwort von Oracle?

Deutsche ORACLE Anwender Gruppe

http://www.oracle.com/ocom/groups/public/@otn/documents/webcontent/2297765.pdf

Beschreibt und definiert

Big Data, organisatorische

und technische

Anforderungen sowie

„Tooling“

… und

Entscheidungs-

kriterien

http://www.oracle.com/ocom/groups/public/@otn/documents/webcontent/2297765.pdf

Deutsche ORACLE Anwender Gruppe (2)

Oracle Big Data Statement of Direction

http://www.oracle.com/technetwork/database/bigdata-appliance/overview/sod-bdms-2015-04-final-2516729.pdf

„Big Data Management Systeme bestehen aus“ …

Data Warehouse

(Database)

Data Reservoir

BigData „Ecosystem mit

Hadoop & NoSQL

(Big Data Appliance)

„Franchised

Query Engine“

Federation Tool

(Big Data SQL)














Deutsche ORACLE Anwender Gruppe

“A favorite hobby of new entrants to the database market is to

paint Oracle, the market-leading database, as inflexible and

promote their product on the basis that Oracle will never be able to

provide the same type of functionality as their new platform. Such

vendors pursue this positioning at their peril: object-oriented

databases, massively-parallel databases, columnar databases,

data warehouse appliances and other trends have been outed as

replacements for Oracle Database only to later see their core

benefits subsumed by the Oracle platform.”

Widerstand ist zwecklos!

Diskussion

24

… und nochmal in eigener Sache:

Wer hat Interesse sich aktiv in der DOAG

Data Analytics Community zu beteiligen?

Frage: Wieviel Aufwand wird auf mich zukommen?

Antwort: So viel Du möchtest, aber es werden wohl mind. 6 PT im Jahr sein.

Danke!

Kurzer Ausflug: Digitale Geschäftsmodelle

28

Baustein: Big Data Analytics – „Standard“

29


REST / SOAP

REST / SOAP44

Mobile

AppsD

B

Rich (Web)

Client AppsD

B

(ESB

) /

Data

In

teg

rati

on

IoT

Devices

IoT

Gateways

IoT

Smart

Devices

Even

t H

ub

Even

t H

ub

Enterprise Apps

WS

External

Cloud Service

Providers

BPM and SOA

Platform

Event

BusinessLogic/Rules

Business

Intelligence

Services

WS

Even

t

Processes

Visualization

Analytics

DB

Serv

ice B

us

Data

In

teg

rato

rK

afk

a

Kafka

Kafka

SOAP

Various

SQL

SOAPREST

WebSocket

JMS

JMS

AP

I G

ate

way

AP

I G

ate

way

REST REST

Kafka

Kafka

SQL

REST

REST

REST / SOAP

Stream Processing

ESP/CEP

DB

DB

Big Data Processing

HDFS

Batch Processing

DB

Kafka

Kafka

HDF

S

ESP/CEP

Edge Analytics

MQ

TT

MQTT

Stream Analytics

Hadoop / Spark

Big Data Appliance

SOA Suite

BPM Suite

Business Activity

Monitoring

Kafka / MQTT / REST

Kafka /

MQTT /

REST

= one way = request/response

I 4.0

Machine

DB CDC GoldenGate

MQ

TT

Kafka / MQTT / REST

Kafk

a

business intelligence big data? - doag.org · kafka / mqtt / rest = one way = request/response i...

Documents