une base de donnéesuniverselle çan’existepas... · 2019-04-03 · service de base de données...

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T

Une base de données universelleça n’existe pas !

D A T 2 0 1

Abass SafouatouSolution ArchitectAmazon Web Services


1970 1980 1990 2000

Oracle DB2

SQL Server

MySQL

PostgreSQL

DynamoDBRedis

MongoDB

Elasticsearch

NeptuneCassandraAccess

Aurora

2010

Timestream

QLDB

DocumentDB


Les applications modernes ont des exigences modernes

Utilisateurs: + 1 millionVolume de données: TB – PB – EBLocalité: GlobalPerformance: millisecondes –

microsecondesTaux de demande: Millions par secondeAccès: Web, mobile, IoT,

appareils connectésScalabilité: Verticale, HorizontaleCout: Payez pour ce que

vous utilisezAccès développeur: Aucun assemblage

requis

Réseaux SociauxVTC apps Streaming Media Site de rencontre


Types de données et cas d’usages

Relationelle

Intégrité référentielle, transactions

ACID, schémas en écriture

Lift and shift, ERP, CRM, finance

Clé-valeur

Haut débit, lectures et

lecture à faible latence,

scalability sans fin

Enchères en temps réel, panier d'achat,

réseaux sociaux, catalogue de

produits, préférences des

clients

Document

Stocker des documents et

requêter rapidement

n'importe quel attribut

Gestion de contenu,

personnalisation, mobile

En mémoire

Requête par clé avec une

latence en microsecondes

Classements, analyses en temps réel, mise en cache

Graph

Créez facilement et rapidement,

naviguez dans les relations

entre les données

Détection de fraude, réseaux

sociaux, moteur de recommandation

Time-series

Collecter, stocker et traiter les données

séquencées par le temps

Applications IoT, suivi des

événements

Ledger

Historique complet, immuable et vérifiable

de toutes les modifications apportées aux

données applicatives

Systèmes d'enregistrement,

chaîne d'approvisionnement, soins de santé,

inscriptions, finances


AWS: Bases de données spécialement conçues pour

Relationelle Cle-valeur Document En-Mémoire Graph Recherche

Amazon DynamoDB

Amazon Neptune

Amazon RDS

Aurora CommercialCommunity

Amazon ElastiCache

Amazon Elasticsearch

Service

Amazon DocumentDB

Time-series Ledger

Amazon Timestream

Amazon Quantum

Ledger DatabaseMemcachedRedis


Amazon Relational Database Service (RDS)Service de base de données relationnelle managé avec un choix de six moteurs populaires

Facile à administrer Disponible et durable Très scalable Rapide et sécurisé

Nul besoin de gérer l’infrastructure ni d’installer ou

de maintenir le logiciel de la BdD

Réplication automatique des données en Multi-AZ; sauvegarde

et bascule automatisée,,

Augmentez votre capacité de calcul et de stockage en quelques

clics et sans interruption

Stockage SSD et niveau E/S garanties; chiffrement des

données au repos et en transit


Traditional SQL• Protocole basé sur TCP• Bien connu, beaucoup d'utilisations• Pilotes communs (JDBC)• Fréquemment utilisé avec les ORM• Augmentation de la taille des

instances• Capacité de lecture accrue avec les

répliquats• Partitionnement au niveau de

l'application• Jointures

INSERT INTO table1(id, first_name, last_name)

VALUES (1, Abass’, Safouatou’);

SELECT col1, col2, col3FROM table1WHERE col4 = 1 AND col5 = 2 GROUP BY col1HAVING count(*) > 1ORDER BY col2


Amazon AuroraUne base de données relationnelle compatible MySQL et PostgreSQL conçue pour le cloudLes performances et la disponibilité d’une base de données commerciale au 10ème du coût

Performanteet scalable

Disponible et durable Très sécurisé Complètement

managé

5 fois le débit de MySQL standard et 3 fois celui de

PostgreSQL standard; extension jusqu'à 15 répliquat en lecture

Tolérant aux pannes, stockage self-healing; données copiées six fois

au travers de 3 Zones de disponibilité; sauvegarde en

continue vers Amazon S3

Isolement du réseau, chiffrement au repos et

en transit

Via RDS: Pas de provision de matériel, de correctifs logiciels, d'installation,

de configuration ou de sauvegardes


SQL vs NoSQL

Optimisé pour le stockage Optimisé pour le calcul

Normalisé / relationnel Dénormalisé / hiérarchique

Requêtes ad hoc Vues instanciées

Mise à l'échelle verticale Mise à l'échelle horizontale

Bon pour l’OLAP Construit pour l’OLTP à l'échelle

SQL NoSQL


Amazon DynamoDBService de base de données clés valeurs rapide et flexible pour toutes les échelles

Sécurité complète

chiffre toutes les données par défaut et s'intègre

pleinement à AWS Identityand Access Management

pour une sécurité renforcée

Performance à l'échelle

Temps de réponse uniformes, à un chiffre, en millisecondes, à

n'importe quelle échelle; construire des applications avec un débit virtuellement illimité

Base de données globale pour des

utilisateurs mondiaux et des applications

Construisez des applications globales avec un accès rapide aux

données locales en répliquant facilement les tables sur plusieurs

régions AWS.

Serverless

Pas de provision de serveur, de correctifs logiciels ou de mises

à niveau; Mise à l’échelle montante ou descendante

automatique; sauvegarde en permanence de vos données


Amazon DynamoDB Structure de donnéesTable

entités

Attributs

Clé de Partition

Clé de tri

ObligatoireModèle d'accès clé-valeurDétermine la distribution des données

OptionnelModèle de relations 1: NPermet des fonctionnalités de requêtage riches

Pour toutes les entités de la clé==, <, >, >=, <=“begins with”“between”“contains”“in”sorted resultscountstop/bottom N values


Schéma et requête sur DynamoDB• Se connecte via HTTP• Index secondaires globaux et index

secondaires locaux• Accélérer les requêtes avec DAX• Tables globales (multi-régions-multi-

maîtres)• Transactions sur plusieurs tables• Flux de changement• Langage d'interrogation riche avec des

expressions• Mise à disposition de capacités de

lecture et d'écriture séparément avec ou sans mise à l'échelle automatique

• Support le modèle de paiement à la requête

import boto3votes_table = boto3.resource('dynamodb').Table('votes')resp = votes_table.update_item(

Key={'name': editor},UpdateExpression="ADD votes :incr",ExpressionAttributeValues={":incr": 1},ReturnValues="ALL_NEW"

)


DynamoDBAvancés au cours des 22 derniers mois

VPCendpoints

Avril 2017

Autoscaling

Juin 2017

DynamoDBAccelerator (DAX)

Avril 2017

Time ToLive (TTL)

Février 2017

Tables Global Sauvegarde à la demande Chiffrement au

repos

Novembre 2017 Novembre 2017 Novembre 2017

Restauration Point-in-time

Mars 2018

SLA

Juin 2018

99.999% SLA

Aout 2018

Adaptive capacity ACID

Novembre 2018

Transactions

Novembre 2018

On-demand

Amazon DocumentDB: Architecture cloud native et moderne

Découpler le calcul et le stockage

Distribuer des données dans des

partitions plus petites

Augmenter la réplication des données (6x)

Que feriez-vous pour améliorer la mise à l’échelle et la disponibilité?

1 2 3


Amazon DocumentDBService de base de données compatible MongoDB rapide, évolutif et entièrement géré

Rapide Mise à l’échelle Entièrement géré

Compatible MongoDB

Millions de requêtes par seconde avec une latence en milliseconds et deux fois le

débit de MongoDB

La séparation des calculs et du stockage permet aux

deux couches de se mettre à l’échelle indépendamment.

deployer jusqu'à 15 répliques en lecture en

quelques minutes

Géré par AWS: pas d'approvisionnement matériel; correction

automatique, configuration rapide, sauvegardes

sécurisées et automatiques

Compatible with MongoDB 3.6; Utilisez le même SDKs, outils, et applications avec Amazon

DocumentDB


Bases de données documents• Les données sont stockées

dans des documents de type JSON

• Des documents proches de la modélisation humaine

• Schéma flexible et indexation

• Langage de requête conçu pour les documents (requêtes et agrégations ad hoc)

Les documents JSON sont des objets de première classe de la base de données.

{id: 1,name: "sue",age: 26,email: "[email protected]",promotions: ["new user", "5%", "dog lover"],memberDate: 2018-2-22,shoppingCart: [

{product:"abc", quantity:2, cost:19.99},{product:"edf", quantity:3, cost: 2.99}

]}


Amazon ElastiCacheCompatible avec Redis et Memcached, stockage de données et cache en mémoire

Securisé et fiable

Isolation réseau, chiffrement au repos et en transit,, PCI DSS, multi AZ et bascule automatique

Compatible Redis & Memcached

Complètement compatible avec les solutions open source Redis

et Memcached

Mise à l’echelle facile

Mise à l’échelle en écriture et lecture avec sharding et

répliquats

PerformanceExtreme

Stockage de données et cache en mémoire pour des temps

de réponse à la microseconde


Redis

• Protocole de sérialisation Redis sur TCP (RESP)

• Prise en charge des chaînes, des hachages, des listes, des ensembles et des ensembles triés

• Commandes simples pour manipuler des structures de données en mémoire

• Fonctionnalité Pub / Sub

• Prend en charge la mise en cluster via des partitions


Memcached

• Protocoles texte et binaires sur TCP

• Petit nombre de commandes: définir, ajouter, remplacer, supprimer, prepend, inc.decr

• Partitionnement basé sur le client / l’application


Les relations permettent de nouvelles applications

Détection de fraudeRecommendations restaurantRéseaux sociaux


Cas d'utilisation de données hautement connectées

Réseaux sociaux

Sciences de la vie

Opérations réseau et informatiqueDétection de fraude

Recommendations Graphes de connaissances


Différentes approches pour des données hautement connectées

Conçu pour un processus métier Conçu pour répondre aux questions sur les relations


Amazon NeptuneBase de données graph entièrement gérée

Facile

Construisez facilement des requêtes puissantes avec

Gremlin et SPARQL

Rapide

Interrogez des milliards de relations avec une latence en

millisecondes

Ouverte

Prend en charge les modèles de graphes Apache TinkerPop &

W3C RDF

Fiable

Six répliquâts de vos données sur trois zones de disponibilité

avec sauvegarde et restauration complètes


Open Source Apache TinkerPop™ Gremlin Traversal Language

W3C StandardSPARQL Query Language

R E S O U R C E D E S C R I P T I O N F R A M E W O R K ( R D F )

P R O P E R T Y G R A P H

PRINCIPAUX MODÈLES ET FRAMEWORKS


Architecture Amazon Neptune (haut niveau)

Bulk load from S3

Database Mgmt.


Gremlin

g.addV('person').property(id, 1).property('name', ‘Abass')

g.V('1').property(single, 'age', 27)

g.addV('person').property(id, 2).property('name', 'markus')

g.addE('knows').from(g.V('1')).to(g.V('2')).property('weight', 1.0)

g.V().hasLabel('person')

g.V().has('name', ‘Abass').out('knows').valueMap()

http://tinkerpop.apache.org/docs/current/reference/#graph-traversal-steps

http://tinkerpop.apache.org/docs/current/reference/#graph-traversal-steps


Amazon Timestream (inscrivez-vous à la preview) Base de données time-series rapide, évolutive et entièrement gérée

1 000 fois plus rapide au 10ème du coût des bases de

données relationnelles

Recueillir des données à raison de millions d'inserts

par seconde (10 M / seconde)

Des milliards d'événements

quotidiens

Le moteur de traitement de requête adaptatif maintient

des performances stables et prévisibles

Analyse de Time-series

Fonctions intégrées pour l'interpolation, le lissage et

l'approximation

Serverless

Configuration, mise en service du serveur, correction de

logiciel automatisée


Amazon Quantum Ledger Database (QLDB) (Preview)Base de données ledger entièrement géréeSuivre et vérifier l’historique de toutes les modifications apportées aux données de votre application

Immuable

Conserve un enregistrement séquencé de toutes les modifications apportées à vos données, qui ne peuvent être ni supprimées ni modifiées; vous avez la possibilité d'interroger et d'analyser

l'historique complet

Cryptographiquement vérifiable

Utilise la cryptographie pour générer un fichier

de sortie sécurisé de l’historique de vos

données

Facile d’utilisation

Facile à utiliser, vous permettant d'utiliser des

fonctionnalités de base de données familières telles que les API SQL pour requêter les

données

Très scalable

Exécute 2 à 3 fois plus de transactions que les ledgers des frameworks blockchain

communs


AWS Database Migration Service (AWS DMS)

M I G R A T I O N D E S B A S E S D E D O N N É E S S U R A W S

Migrer entre sur vos centres de données et AWS

Migrer entre les bases de données

Conversion de schéma automatisée

Réplication de données pour la migration sans interruption de service

+ de 100,000Bases de données migrées


CustomerPremises, EC2, RDS

Utilisateurs de l'application

AuroraPostgreSQLVPN/Network

AWS DMS—Réplication logique

Démarrer une instance de réplication

Se connecter aux bases de données source et cible

Sélectionner des tables, des schémas ou des bases de données

Laissez le service de migration de base de données AWS créer des tables et charger des donnéesUtilise la capture de données modifiées pour les synchroniserBasculez les applications sur la cible à votre convenance


Les clients migrent les bases de données sur AWSAvec Amazon Redshift, leboncoin dispose d'un service d'entrepôt de données rapide, entièrement géréet doté d'une capacité de plusieurs pétaoctets, auquel se combine le service Amazon Relational Database Service (Amazon RDS).

Wappa a migré de sa base de données Oracle vers Amazon Aurora et a amélioré de 75% le temps de reporting par utilisateur.

Trimble a migré ses bases de données Oracle vers Amazon RDS et prévoit de payer environ un quart de ce qu'il a payé pour gérer son infrastructure privée.

Intuit a migré de Microsoft SQL Server vers Amazon Redshift afin de réduire les délais de traitement des données et de fournir des informations plus rapidement et plus fréquemment aux décideurs.

Equinox Fitness a migré son entrepôt de données Teradata sur site vers Amazon Redshift. Ils sont passés de rapports statiques à un lac de données moderne fournissant des rapports dynamiques.

Eventbrite est passé de Cloudera à Amazon EMR et a été en mesure de réduire considérablement les coûts, en basculant les grappes à la demande et en utilisant Spot (économie> 80%) et les instances réservées.

En décembre 2018, Amazon.com a migré 88% de ses bases de données Oracle (et 97% des bases de données système critiques) vers Amazon Aurora et Amazon DynamoDB. Ils ont également migré leurs entrepôts de données Oracle 50 PB vers AWS (Amazon S3, Amazon Redshift et Amazon EMR).

Samsung Electronics a migré ses clusters Cassandra vers Amazon DynamoDB pour leur charge de travail Samsung Cloud avec une économie de coûts de 70%.

https://aws.amazon.com/fr/redshift/

https://aws.amazon.com/fr/rds/


Les clients entreprise utilisent des bases de données dans le cloud


Les clients startup utilisent des bases de données dans le cloud


Pour Aller plus loin

Bases de données sur AWS.https://aws.amazon.com/fr/products/databases/

Preview Amazon Timestreamhttps://aws.amazon.com/fr/timestream/

Preview Amazon Quantum Ledger Database (QLDB)https://aws.amazon.com/fr/qldb/


Thank you!


une base de donnéesuniverselle çan’existepas... · 2019-04-03 · service de base de données...

Documents