panorama des solutions - big data paris 2020 · hortonworks data platform - hdp hortonworks...
TRANSCRIPT
Big Data & IA à utiliser…
et celles à oublier
Cédric Carbone - Ogury CTO - @carbone
11 Mars 2019- Big Data Paris 2019
PANORAMA DES SOLUTIONS
Summary
01
02
03
Definitions
Big Data & AI Landscape
Coming back on last year’s bets
Pan
ora
ma
des
so
luti
on
s B
igD
ata
& A
I à u
tilis
er…
et
celle
s à
ou
blie
r -
Ogu
ry-
@ca
rbo
ne
2
04 2019 predictions
Pan
ora
ma
des
so
luti
on
s B
igD
ata
& A
I à u
tilis
er…
et
celle
s à
ou
blie
r -
Ogu
ry-
@ca
rbo
ne
3
AI / ML / DeepLearning : Definitions
01
Difference between Machine Learning and AI
AI = Artificial Intelligence
Pan
ora
ma
des
so
luti
on
s B
igD
ata
& A
I à u
tilis
er…
et
celle
s à
ou
blie
r -
Ogu
ry-
@ca
rbo
ne
4
If it is written in Python
it's probably machine learning
If it is written in Powerpoint
it's probably AI
M A C H I N E L E A R N I N G
D E E P L E A R N I N G
Pan
ora
ma
des
so
luti
on
s B
igD
ata
& A
I à u
tilis
er…
et
celle
s à
ou
blie
r -
Ogu
ry-
@ca
rbo
ne
5
What is AI / ML / DL ?
A R T I F I C I A L I N T E L L I G E N C E
1 9 5 0 ’ s 1 9 6 0 ’ s 1 9 7 0 ’ s 1 9 8 0 ’ s 1 9 9 0 ’ s 2 0 0 0 ’ s 2 0 1 0 ’ s
Engineering of making intelligent
Machines and Programs
Ability to learn without being explicitly
programmed
Learning based on Deep Neural
Network
Pan
ora
ma
des
so
luti
on
s B
igD
ata
& A
I à u
tilis
er…
et
celle
s à
ou
blie
r -
Ogu
ry-
@ca
rbo
ne
6
Machine Learning Techniques
SUPERVISED LEARNING
UNSUPERVISED LEARNING
CLASSIFICATION REGRESSION CLUSTERING
Support Vector Machines
Discriminant Analysis
Naive Bayes
Nearest Neighbor
Linear RegressionGLM
SVR, GPR
Ensemble Methods
Decision Trees
Neural Networks
K-Means, K-MedoidsFuzzy C-Means
Hierarchical
Gaussian Mixture
Neural Networks
Hidden Markov Model
MACHINE LEARNING
Pan
ora
ma
des
so
luti
on
s B
igD
ata
& A
I à u
tilis
er…
et
celle
s à
ou
blie
r -
Ogu
ry-
@ca
rbo
ne
7
Deep LearningWhat is a neurone?
Pan
ora
ma
des
so
luti
on
s B
igD
ata
& A
I à u
tilis
er…
et
celle
s à
ou
blie
r -
Ogu
ry-
@ca
rbo
ne
8
Deep Neural Network
Multi-layers
Pan
ora
ma
des
so
luti
on
s B
igD
ata
& A
I à u
tilis
er…
et
celle
s à
ou
blie
r -
Ogu
ry-
@ca
rbo
ne
9
Deep Learning
A Camel?
Pan
ora
ma
des
so
luti
on
s B
igD
ata
& A
I à u
tilis
er…
et
celle
s à
ou
blie
r -
Ogu
ry-
@ca
rbo
ne
10
Big Data & AI Landscape
02
Pan
ora
ma
des
so
luti
on
s B
igD
ata
& A
I à u
tilis
er…
et
celle
s à
ou
blie
r -
Ogu
ry-
@ca
rbo
ne
11
Pan
ora
ma
des
so
luti
on
s B
igD
ata
& A
I à u
tilis
er…
et
celle
s à
ou
blie
r -
Ogu
ry-
@ca
rbo
ne
12
Pan
ora
ma
des
so
luti
on
s B
igD
ata
& A
I à u
tilis
er…
et
celle
s à
ou
blie
r -
Ogu
ry-
@ca
rbo
ne
13
Open source
Pan
ora
ma
des
so
luti
on
s B
igD
ata
& A
I à u
tilis
er…
et
celle
s à
ou
blie
r -
Ogu
ry-
@ca
rbo
ne
14
Coming back on last year’s bets
03
BigData Paris’1812/03/2018
Pan
ora
ma
des
so
luti
on
s B
igD
ata
& A
I à u
tilis
er…
et
celle
s à
ou
blie
r -
Ogu
ry-
@ca
rbo
ne
15
Pan
ora
ma
des
so
luti
on
s B
igD
ata
& A
I à u
tilis
er…
et
celle
s à
ou
blie
r -
Ogu
ry-
@ca
rbo
ne
16
2019 predictions
04
Essential to master (mature products)P
ano
ram
a d
es s
olu
tio
ns
Big
Dat
a &
AI à
uti
liser
… e
t ce
lles
à o
ub
lier
-O
gury
-@
carb
on
e
17
OnPrem Is dead
AWS, Google Cloud Platform, MS Azur, IBM… win
Pan
ora
ma
des
so
luti
on
s B
igD
ata
& A
I à u
tilis
er…
et
celle
s à
ou
blie
r -
Ogu
ry-
@ca
rbo
ne
18
VS
Pan
ora
ma
des
so
luti
on
s B
igD
ata
& A
I à u
tilis
er…
et
celle
s à
ou
blie
r -
Ogu
ry-
@ca
rbo
ne
19
Products to replace
Hortonworks & Cloudera
Merger in progress + transition to the cloud
Pan
ora
ma
des
so
luti
on
s B
igD
ata
& A
I à u
tilis
er…
et
celle
s à
ou
blie
r -
Ogu
ry-
@ca
rbo
ne
20
Cloudera Enterprise Data Hub
Cloudera Data Warehouse (Apache Impala)
Cloudera Data Science & Engineering (Apache Spark and
Cloudera Data Science Workbench)
Cloudera Operational DB (Apache HBase & Kudu)
OnPremisesNative object store support for Amazon & AzureManaged service under the Cloudera Altus brand
Hortonworks Data Platform - HDP
Hortonworks DataFlow for streaming data delivery
and ingestion (Apache Nifi)
Hortonworks DataPlane Service (multi-cloud)
OnPremisesAzure HDInsight service for Microsoft Azure
Data Cloud Hadoop service for AWS
AWS: current
Pan
ora
ma
des
so
luti
on
s B
igD
ata
& A
I à u
tilis
er…
et
celle
s à
ou
blie
r -
Ogu
ry-
@ca
rbo
ne
21
AWS: the future (not yet available)
Pan
ora
ma
des
so
luti
on
s B
igD
ata
& A
I à u
tilis
er…
et
celle
s à
ou
blie
r -
Ogu
ry-
@ca
rbo
ne
22
AWS: AI Services, Machine Learning & Frameworks
Pan
ora
ma
des
so
luti
on
s B
igD
ata
& A
I à u
tilis
er…
et
celle
s à
ou
blie
r -
Ogu
ry-
@ca
rbo
ne
23
Same with Google Cloud Plateform
Pan
ora
ma
des
so
luti
on
s B
igD
ata
& A
I à u
tilis
er…
et
celle
s à
ou
blie
r -
Ogu
ry-
@ca
rbo
ne
24
Pan
ora
ma
des
so
luti
on
s B
igD
ata
& A
I à u
tilis
er…
et
celle
s à
ou
blie
r -
Ogu
ry-
@ca
rbo
ne
25
Multi - cloud
Pan
ora
ma
des
so
luti
on
s B
igD
ata
& A
I à u
tilis
er…
et
celle
s à
ou
blie
r -
Ogu
ry-
@ca
rbo
ne
26
Data Governance
New data governance solutions will
emerge in 2019
Internal use only
Data Catalog
Tracability
Anonymization
Master Data Management
Questions ?
Pan
ora
ma
des
so
luti
on
s B
igD
ata
& A
I à u
tilis
er…
et
celle
s à
ou
blie
r -
Ogu
ry-
@ca
rbo
ne
27
W E A R E H I R I N G …8 0 e n g i n e e r s i n F ra n c eW i l l y o u b e t h e r a i n b o w t o o u r u n i c o r n
F R E E B E E R T O N I G H T at Ogury booth Zone A Stand 62
B I G D ATA PA R I S 2 0 1 9@carbone