tech.days 2015#mstechdays
Scale OutRépartir en n "petites" machines les données vs 1 gros serveur monolytique
Granularité plus fine
- Montée en charge plus linéaire- Mécaniques de disponibilité et de réplication plus maitrisables
Maitrise des couts
Traitement distribués
Exemple : Craiglist avec l'utilisation de MongoDB pour son 'Datawarehouse'
Monitoring
● Visualisation des noeuds
● Métriques & Alertes
● Activité des noeuds
● Temps Réel
Opérations
● Configuration
● Opération sur les noeuds
● Opération de masse
● Re-équilibrage / Auto Repair
● Sauvegarde / Restauration
● Point In Time Recovery
• Visuel, interface utilisateur Web.
• Tâches d’installation, de configuration, et d’administration avec de simples clics
• Support visuel des Services de Gestion Automatique DataStax
• API REST permettant de scripter toutes les fonctions de OpsCenter
• Fonctionne sur tout type de terminal (tablette, etc.)
• Historique des métriques
• Accès sécurisé
Posts
author
title
body
Comments
author
comment
Tags
tag
Post
{
author : "vincent"
title : "base document"
body : "blabla.... blabla"
tags : ["nosql","bases","tuto"]
comments : [
{author:"toto",
comment: "super !"},
{
author:"vincent",
Post
{
author : "vincent"
title : "base document"
body : "blabla.... blabla"
tags : ["nosql","bases","tuto"]
comments : [
{author:"toto",
comment: "super !"},
{author:"vincent",
comment: "merci"},
]
}
Post
{
author : "vincent"
title : "exemple de document"
body : "blabla.... blabla"
tags : ["nosql","bases","tuto"]
comments : [
{author:"toto",
comment: "super !"},
{author:"vincent",
comment: "merci"},
]
}
tech.days 2015#mstechdays
Impossible de garantir simultanément Cohérence (C), Disponibilité (A), Partitionnement (P)
C
A P
tech.days 2015#mstechdays
SQL
& ColonneClef/Valeur Document Colonne
SQL
MPP
Vertica
BigQuery
Dynamo
Voldemort
SimpleDB
CouchDB
Riak
Cassandra
BerkeleyDB
MemcacheDB
Redis
MongoDBBigTable
HBase
• Basé sur Google Bigtable
• Famille Ligne / Colonne
• Dénormalisé
CREATE TABLE sporty_league (team_name varchar,player_name varchar,jersey int,
PRIMARY KEY (team_name, player_name));SELECT * FROM sporty_league;
La clé primaire identifie de manière unique une ligne
Une clé primaire composite consiste en :
• Une clé de répartition
• Une ou plusieurs clustering colonnes
e.g. PRIMARY KEY (partition key, cluster columns, ...)
• La clé de répartition détermine sur quel noeud la partition (la ligne) réside
• Les donnés sont triées dans l’ordre de la cluster colonne au sein de la partition (ligne)
• DB Graphe ?
• Cas d’utilisation :
• Titan
TinkerPop
• News ! DataStax vient d’acquérir Aurelius, la société derrière Titan
tech.days 2015#mstechdays
1.0 driver
1.5 SQL comme langage natif
2.0 mettre un middleware (Apache Drill, Presto)
• Très similaire à la syntaxe SQL des SGBDR
• Principales commandes DDL/DML supportées : CREATE, ALTER, DROP, INSERT, UPDATE, DELETE
• Requête des données avec SELECT
team_name player_name PSG Zlatan
team_name
• Type de données : BLOB, UUID, TIMEUUID, User Define Type ...
• Collections : Map, List, Set
• TTL (Time-To-Live) au niveau de la colonne
• Compteurs
• Lightweight Transactions (LWT) : solution pour le problème “race condition” avec IF NOT EXISTS
• Interrogation par Batch
• Index Secondaire
• Query Trace
Hadoop
Application
Opérationnelle
Recherche
Temps Réel
Analytique
Temps Réel
Analytique
Batch
SGBDR
Analytique
Transformations
Shark
or
Spark SQLStructured
Spark
StreamingReal-time
MLlibMachine learning
Spark (General execution engine)
GraphXGraph
Cassandra
tech.days 2015#mstechdays
Activez vos bénéfices Azure jusqu’à
115€ de ressources mensuelles
offertes
115€ /mois
x5 membres
x3 ans
= 4 175€ de ressources offertes
http://azure.com http://aka.ms/azurepourmsdn
150€ de ressources offertes
Sans engagement
Pour tousUn mois d’essai offert
http://www.microsoft.com/bizspark/
Pour les startupsBizspark
= 49 000€ de ressources offertes
pendant un an
Pour les abonnés MSDN
tech.days 2015#mstechdays
Inscrivez-vous : http://aka.ms/pepiniereazure
Coaching technique et business
Ressources
Une équipe à Microsoft pour vous accompagner dans votre projet cloud et mettre à
votre disposition de l’aide personnalisée.
Visibilité