kit – university of the state of baden-wuerttemberg and national research center of the helmholtz...

KIT – University of the State of Baden-Wuerttemberg and National Research Center of the Helmholtz Association

SOFTWARE DESIGN AND QUALITY GROUP INSTITUTE FOR PROGRAM STRUCTURES AND DATA ORGANIZATION, FACULTY OF INFORMATICS

www.kit.edu

Datenbankframeworks in der Cloud

Seminar “Datenbankanwendungen im Cloud Computing”Referent: Markus OelsnerDatum: 29.06.2010Betreuerin: Jutta Mülle

Software Design and Quality GroupInstitute for Program Structures and Data Organization

2 04/11/23 Markus Oelsner – Datenbankframeworks in der Cloud

Motivation

Datenmenge drastisch gestiegen

Probleme bei traditionellen Datenbanken

Anforderungen:Starke Flexibilität

Hohe Anwendbarkeit

Hohe Leistungsfähigkeit

Skalierbarkeit

Hohe Verfügbarkeit

Lösung: verteilte Datenbanksysteme



Datenbankframeworks in der Cloud

1. Google BigTable

2. Amazon (3 Angebote)

3. Apache Hadoop HBase



1. Google BigTable

Verteiltes Datenbanksystem für sehr große Datenmengen (Petabytes)

Kein offizielles Cloud Service Angebot

Nutzung:



1. Google BigTable

„A Bigtable is a sparse, distributed, persistent, multi-dimensional sorted map“

Daten werden über Zeilen- und Spaltenindizes abgelegt

Bigtable: A Distributed Storage System for Structured DataFay Chang, Jeffrey Dean, Sanjay Gehmawat, usw



1. Google BigTable

Zeilen:Strings mit maximaler Länge von 64 kB

Lexikographische Sortierung

Dynamische Unterteilen der Tabelle in Bereiche -> Tablets



1. Google BigTable

Spalten:Gruppierung in Spaltenfamilie family:qualifier (beide strings)

Zugangskontrolle und Speicherung als Spaltenfamilien



1. Google BigTable

Zeitstempel:Verschiedene Versionen der Zellen

64 Bit Integer

Einzigartigkeit

Automatisches Löschen der Versionen



1. Google BigTable

Tabletsenthalten zusammenhängende Bereiche

ca. 100 MB pro Tablet

ca. 100 Tablets pro Server-> Lastbalancierung

-> schnelle Recovery-Durchführung



1. Google BigTable

Tablet-VerhaltenWird in GFS gespeichert

Dateiformat SSTableÄnderungen werden in Memtable gespeichert

Ältere Updates in SSTable

Minor CompactionMemtable SSTable

Major Compactionalle SSTables + Memtable eine SSTable



1. Google BigTable

ImplementierungEin Master-Server und viele Tablet-Server

Master-ServerZuweisung von Tablets zu Tablet-Servern

Load-Balancing

Steuert Erzeugung und Änderung der Tabellen und Spalten

Tablet-ServerVerwaltet Menge von Tablets

Dynamisches Hinzufügen oder Entfernen im Cluster

verarbeitet Lese- und Schreibanfragen

Splittet Tablets



1. Google BigTable

3-Stufen-HierarchieWurzel Tablett

Verweis auf Metadaten Tablets

In Chubby File

Nicht teilbar

Metadaten TabletVerweis auf BenutzerTablets

User Tablets



1. Google BigTable

Funktionen und Schnittstellen:Unterstützt keine gewöhnliche SQL Sprache

Bietet Funktionen zum Erstellen, Ändern und Löschen von Tabellen, Spaltenfamilien und Metadaten

Noch weitere komplexe Features

Abfrage für App Engine:GQL Query Class

Query Class



2. Amazon



2. Amazon

Verschiedene Angebote um Datenbank bei Amazon zu betreiben1. Amazon Simple DB

2. Amazon RDS

3. Relationale Datenbank in Amazon EC2



2. Amazon

3.1. Amazon Simple DBEinfach strukturiert

Hoch zuverlässig

Keine relationale Datenbank

Skalierbar

Schnell

Flexibel

Kompatibel mit anderen AWS

Für Speicherung kleiner Datenmengen

Erschwinglich



2. Amazon

3.2. Amazon RDSEinfach bereitzustellen

Relationale Datenbank

Bietet Zugriff auf MySQL Schnittstelle

Skalierbar

Zuverlässig

Kompatibel mit anderen AWS

erschwinglich



2. Amazon

3.3. Relationale Datenbank in Amazon EC2 Eigene Relationale Datenbank für eigene Anforderungen

Wird auf Amazon EC2 ausgeführt und auf Amazon EBS gespeichert

Vollen Zugriff auf verschiedene APIs wie MySQL, Oracle, Postgre SQL, Sybase, MicrosoftSQL, IBM DB2




Open Source-Plattform

Programmiersprache: Java

Eigenschaften, Architektur und Implementierung sehr ähnlich zu BigTable




Unterschiede zu BigTable:Andere Terminologien

verwendet kein Chubby Lock Service

HDFS Speicherung anstatt GFS

Speicherung der Tablets/Regions anders

Mehrere Schnittstellen:Java API, Thrift Server, REST Server, C++ Bibliothek, HBase Shell

Keine Zugriffskontrollen für Spaltenfamilien

Größere Tablets/Regionen



Zusammenfassung

Es gibt viele verschiedene Angebote, man muss Sie nur nach seinen derzeitigen und

seinen künftigen Anforderungen auswählen.



Vielen Dank für Ihre Aufmerksamkeit!

kit – university of the state of baden-wuerttemberg and national research center of the helmholtz...

Documents

cloud folie

cloud datenbankframeworks

quality group institute

data organization

program structures

markus oelsner datum

versionen folie

amazon folie