big data closing the analytics gap - sas institute€¦ · copyright © 2011, sas institute inc....

Copyright © 2011, SAS Institute Inc. All rights reserved.

make connections • share ideas • be inspired

Big Data – Closing the analytics gap André Münger Greenplum [email protected]


Ben Mac

Mouth

Money Bang

B

a

n

d

Brother

Lebowski

F

i

v

e

Fish

Business

Was ist all diesen Begriffen gemeinsam?


DATA MINING & BIG DATA Mythos

+ =

+

1. Überhaupt nichts, ist am Preiswertesten

2. Entschuldigungsbrief schreiben (minimaler Aufwand, minimale Kosten)

3. Gutschein über 300 Franken für den nächsten Flug

4. Eine Jahresmitgliedschaft in der VIP-Lounge

5. 25.000 geschenkte Frequent-Flyer-Meilen

http://src.discounto.de/pics/product/23066/39166_PAMPERS-Windeln-New-Baby-23066_xxl.jpeg




7 THESEN ZU BIG DATA


1. Man kann vor Big

Data wegrennen,

sich aber nicht

verstecken.


THRIVING IN THE BIG DATA ERA

Volume

Variety

Velocity

Value

The

Analytics

Gap


2. Big Data wird

DAS

entscheidende

Differenzierungs-

kriterium.


SAS Press Release im April 2011

“In early April 2011, SAS demonstrated the power of high

performance analytics at its Global Forum meeting. In the

first case, two racks (16 nodes) of Greenplum's Data

Computing Appliance (DCA) were used to run a logistic

regression of bank loan defaults across a database with a

billion records, applying just a few variables. The regression

was able to complete in less than 80 seconds (as compared

to 20 hours for an unspecified serial implementation).”

0.11% of time needed

unspecified serial implementation takes 900 times longer

SAS Code: proc logistic changed to proc HPlogistic


3. Big Data braucht

neue

Fähigkeiten.


Statistik / Mathematik

Business Verständnis

Hacking

Entdecker-geist

Team – und Kommuni-kations-fäjhigkeit

Offenheit

Neugierde

Engineering

Data Scientist


4. Big Data meint,

man soll Social

Media nutzen.


Im Web wird Realität erzeugt

„Nichts passiert, was nicht genügend gedacht,

gesagt oder geschrieben worden ist.“

Facebook alleine ist das

3. grösste Land auf der Welt.


5. Big Data

benötigt neue

Werkzeuge und

Technologie.


TDWI Study Big Data Analytics


20 Jahre Evolution


SAS High Performance

Analytics (Product) Lösungs-Architektur – MPP Datenbank Appliance

Server N Server 2 Server 1

Teradata- oder

EMC² Greenplum-DB

Speicher für SAS

In-Memory Analytics


Deployment

SAS Embedded

Process


Analytics Plattform

MPI MPI

proc hplogistic data=MPPLib.MyTable; class A B C D ; model y = a b c

b*d x1-x100; output

out=MPPlib.logout pred=p; run;

Multiple

Threads

Multiple

Threads

Multiple

Threads

Database Storage

Database Server

Embedded

Process

Database Storage

Database Server

Embedded

Process

Database Storage

Database Server

Embedded

Process

SAS STAT Client

SAS Enterprise Miner

www.sas.com/hpa


Traditionelle Architekturen – Scale Up

Ihre Aufgabe:

Bringen Sie 300 Passagiere in ein Flugzeug.

1 Eingang.

Wie lange dauert es?


MPP – Massiv Parallele Verarbeitung

Ihre Aufgabe:

Bringen Sie 300 Passagiere in einen Zug.

20 Wagen, 2 Eingänge pro Wagen.

Wie lange dauert es?


SAS AND EMC GREENPLUM UAP INTEGRATED ARCHITECTURE

Data

Scientist

Data

Engineer

Data

Analyst

Bl

Analyst LOB

User

Data

Platform

Admin

DA

TA

SC

IEN

CE

TE

AM

Greenplum Chorus - Analytic Productivity Layer

SAS Analytics

Private/Hybrid Cloud Infrastructure or Appliance

SAS Business Intelligence

SAS Information Management

Greenplum Database Greenplum Hadoop

Data Access & Query Layer (SAS ACCESS, SQL, MapReduce)


2011 EMC Data Hero Award Winner

Silver Spring Networks – Energy Category

6. Big Data

transformiert

ganze Industrien.


Alte Big Data Weisheit

„Wenn starker Wind aufkommt,

dann bauen die Einen Mauern,

die Anderen errichten Windmühlen.“


All Data

Faster Answers

Elastic & Scalable

1 The Journey To Big Data

2 Data Science

Collaboration

Self-Service

Agile Analytics People & Productivity Focus

3 Real-Time Decisions

New Applications

Data Monetization

Analytic Productivity Platform

Agile Process & Tools

Predictive Enterprise Application Focus

Big Data Enabled Apps

Big Data Analytics Technology Focus

Analytics Engines

Cloud Infrastructure

Analytic Engines


7. Big Data

verändert Leben.

2011 EMC Data Hero Award Winner Global Virus Forecasting – Public Service Category


www.datascienceseries.com

Die Data Science Series

sind ein Forum für Menschen,

die die Welt verändern möchten.

http://www.datascienceseries.com/


The Human Face of BIG DATA

Finding Islands of Understanding in a Sea of Information.

www.thehumanfaceofbigdata.com

http://www.thehumanfaceofbigdata.com/


Zusammenfassung

Big Data ist heute

Big Data differenziert

Big Data macht Spass

Menschen kommen vor Technologie


Data Is Digital Air

“Data is increasingly digital air:

the oxygen we breathe and the

carbon dioxide that we exhale.

It can be a source of both,

sustenance and pollution.”

Danah Boyd, Microsoft Researcher


make connections • share ideas • be inspired

André Münger

+41 79 708 85 99

[email protected]

EMC Computer Systems AG

Hardturmstrasse 181

8005 Zürich / Schweiz

mailto:[email protected]

big data closing the analytics gap - sas institute€¦ · copyright © 2011, sas institute inc....

Documents