big data montée en compétence hadoop
DESCRIPTION
Présentation Ysance Big Data Paris 2014 : Montée en compétence sur la plateforme Hadoop.TRANSCRIPT
Notre métier
Agence conseil en Technologie Digitale
Conception, mise en œuvre et animation de Plateformes Digitales
Organisée autour de 7 offres
Digital Marketing Ecommerce CRM
Cloud Computing
BusinessIntelligence
Data Management Big Data
Comment monter en puissance et en autonomie sur une plateforme Hadoop ?
Romain Chaumais
CONSEIL #1 DÉMYSTIFIER LA BÊTE
CONSEIL #2 FAIRE COMME AVANT
Les bénéfices de la « base de données » Hadoop
12
Gestion des données structurées, peu
structurées et non structurées
Massivement Scale-Out (Gestion du temps
contraint)
Faible coût de possession
Intégrée et compatible avec l’écosystème BI
traditionnel
Pas de modèle de données à priori
Grande capacité de stockage
De plus en plus compatible avec des usages temps réel
(Flume, Hbase, Impala)
CONSEIL #3 CHOUCHOUTER LES ADMIN SYSTÈMES
CONSEIL #4 OSER SE JETTER À L’EAU
Architecture logique & applicative avec un ecosystème Hadoop
…
Cluster élastique : CPU / RAM / Disk / Network
Stockage HDFS / MAPRFS
Transformations Batch : Map Reduce (Hive /Pig)
Transactions Temps réel : Hbase / Cassandra / etc.
Moteur de recherche Temps réel : ElasticSearch/SolR
Requêtes Temps réel : Impala / Presto / Spark / etc.
Orc
hestr
ati
on
des t
rait
em
en
ts :
ETL
Don
nées s
ou
rces
Ventes
Web.com
Logs
Autres …
APIAccès Apps tiercesTemps réel (R/W)
BrowserApps
Opérationnelles HTML Temps réel
(Search / Pilotage)
HT
TP
/ R
ES
T /
JS
ON
Outils BIApps Analytiques
Données historisées Pour
les 3 BI
SQ
L O
DB
C /
JD
BC
Fil
es S
yste
m /
Sh
ell Fichier
sÉchange de données par
fichiersInput / OutputShellInteraction en
ligne de commande
Collecte et streaming : Flume, SyslogNG, Storm
CONSEIL #5 CONSTRUIRE UNE HISTOIRE D’AMOUR
CONSEIL #6 APPELER UN AMI
http://ysance.com/nous-contacter.html :)
ET SI VOUS SUIVEZ BIEN TOUS CES CONSEILS …
#MYJOB DOMPTEUR DE HADOOP
