![Page 1: Grid-Computing Mehr als nur ein Hype? Benno Baumgartner & Reto Ghioldi (ETH Zürich)](https://reader035.vdocuments.us/reader035/viewer/2022070310/55204d7049795902118c2c4f/html5/thumbnails/1.jpg)
Grid-ComputingMehr als nur ein Hype?
Benno Baumgartner & Reto Ghioldi
(ETH Zürich)
![Page 2: Grid-Computing Mehr als nur ein Hype? Benno Baumgartner & Reto Ghioldi (ETH Zürich)](https://reader035.vdocuments.us/reader035/viewer/2022070310/55204d7049795902118c2c4f/html5/thumbnails/2.jpg)
2
Informatik zur Problemlösung
• Mathematische Berechnungen
• Datenverwaltung
• Informationsverarbeitung und -aufbereitung
![Page 3: Grid-Computing Mehr als nur ein Hype? Benno Baumgartner & Reto Ghioldi (ETH Zürich)](https://reader035.vdocuments.us/reader035/viewer/2022070310/55204d7049795902118c2c4f/html5/thumbnails/3.jpg)
3
Applikation
Wunsch des Applikationsentwicklers
1 Problem 421 Antwort
Super Black BoxSuper Black Box
Adapter zwischen Applikation und „dort wo die Lösung
errechnet wird“
![Page 4: Grid-Computing Mehr als nur ein Hype? Benno Baumgartner & Reto Ghioldi (ETH Zürich)](https://reader035.vdocuments.us/reader035/viewer/2022070310/55204d7049795902118c2c4f/html5/thumbnails/4.jpg)
4
Praxis: Engpass Rechenleistung
1 Problem42
1 Antwort
1 Computer
Engpass
![Page 5: Grid-Computing Mehr als nur ein Hype? Benno Baumgartner & Reto Ghioldi (ETH Zürich)](https://reader035.vdocuments.us/reader035/viewer/2022070310/55204d7049795902118c2c4f/html5/thumbnails/5.jpg)
5
Erste Lösungsmöglichkeit
1 GROSSER Computer
1 Problem 421 Antwort
![Page 6: Grid-Computing Mehr als nur ein Hype? Benno Baumgartner & Reto Ghioldi (ETH Zürich)](https://reader035.vdocuments.us/reader035/viewer/2022070310/55204d7049795902118c2c4f/html5/thumbnails/6.jpg)
6
Zweite Lösungsmöglichkeit
1 Problem 421 Antwort
1‘000‘...‘000 Computer
![Page 7: Grid-Computing Mehr als nur ein Hype? Benno Baumgartner & Reto Ghioldi (ETH Zürich)](https://reader035.vdocuments.us/reader035/viewer/2022070310/55204d7049795902118c2c4f/html5/thumbnails/7.jpg)
7
Implementationsaufwand?
1 Problem 421 Antwort
1‘000‘...‘000 Computer
Aufwändig zu realisieren
Implementations-aufwand 0
![Page 8: Grid-Computing Mehr als nur ein Hype? Benno Baumgartner & Reto Ghioldi (ETH Zürich)](https://reader035.vdocuments.us/reader035/viewer/2022070310/55204d7049795902118c2c4f/html5/thumbnails/8.jpg)
8
???
Themen dieses Abends
• Wie funktioniert die zweite Variante genauer (Giesskanne / Trichter)? Wir werden eine Technik genauer anschauen ( Grid-Computing).
• Wie stehen die beiden gezeigten Varianten zueinander im Vergleich?
• Bei welcher Art von Problemen macht es Sinn, viele kleine Computer einzusetzen. Wo eignet sich ein einzelner grosser Computer besser?
• Wie sieht es bei den zwei Varianten bezüglich dem Preis-Leistungsverhältnis aus?
![Page 9: Grid-Computing Mehr als nur ein Hype? Benno Baumgartner & Reto Ghioldi (ETH Zürich)](https://reader035.vdocuments.us/reader035/viewer/2022070310/55204d7049795902118c2c4f/html5/thumbnails/9.jpg)
9
Ablauf
Wer Thema Was Zeit
Reto Bei der Natur und bisherigen Technik spicken Vortrag 5‘
BennoBrückenschlag zur Informatik:
Grid-Computing auf den Punkt gebrachtVortrag 10‘
Reto Wir spielen selbst „Grid-Computing“ Spiel 20‘
Reto Problembehandlung beim Grid-Computing Vortrag 10‘
Benno Vergleich der beiden Varianten Vortrag 10‘
Benno Ausnutzung von ungenutzten Ressourcen Spiel 10‘
Benno Anwendungsmöglichkeiten Vortrag 10‘
![Page 10: Grid-Computing Mehr als nur ein Hype? Benno Baumgartner & Reto Ghioldi (ETH Zürich)](https://reader035.vdocuments.us/reader035/viewer/2022070310/55204d7049795902118c2c4f/html5/thumbnails/10.jpg)
10
Verteiltes Arbeiten in der Natur
Ameisen• Jeder Stamm hat seinen
eigenen Ameisenbau
• Die Königin gibt den Auftrag: (Nestbau & Nahrungssuche)
• Die Arbeiterinnen teilen die Arbeit untereinander auf
• Jede Ameise handelt eigenständig zum Wohl des Stammes
• Die Ameisen kommunizieren untereinander
• Unter den Ameisen eines Stammes herrscht Vertrauen
• Einen ganzen Ameisenstamm auszulöschen ist sehr schwierig
![Page 11: Grid-Computing Mehr als nur ein Hype? Benno Baumgartner & Reto Ghioldi (ETH Zürich)](https://reader035.vdocuments.us/reader035/viewer/2022070310/55204d7049795902118c2c4f/html5/thumbnails/11.jpg)
11
Eigenschaften bei Ameisen
• Der Stamm ist (fast) dezentral organisiert
• Das System ist sehr ausfallsicher
• Intelligente Ressourcenaufteilung
• Standardisierte Kommunikation zwischen den einzelnen Individuen
• Sicherheit und Vertrauen ist im Bau von zentraler Bedeutung
• Eine Arbeitseinheit ist billig in der Herstellung
• Skalierbarkeit durch einfaches Hinzufügen neuer Ameisen und Bauvergrössern
Ameisen Computer• Es wird im Verbund kein Server
vorausgesetzt
• Das System ist sehr fehlertolerant und manipulationssicher
• Computer-Ressourcen werden geteilt (Speicher, Drucker,...)
• Basis von offenen Standards wie IEEE (Ethernet), Internet
Engineering Task Force (TCP/IP, RFCs), W3C (XML, SOAP), etc.
• AAA (Access policy, Authentication, Authorization)
• Auch bei vielen teilnehmenden Computern tiefe Kosten
![Page 12: Grid-Computing Mehr als nur ein Hype? Benno Baumgartner & Reto Ghioldi (ETH Zürich)](https://reader035.vdocuments.us/reader035/viewer/2022070310/55204d7049795902118c2c4f/html5/thumbnails/12.jpg)
12
Black Box in der Technik
Stromnetz (engl. Power-Grid)
Super Black BoxSuper Black Box( )
![Page 13: Grid-Computing Mehr als nur ein Hype? Benno Baumgartner & Reto Ghioldi (ETH Zürich)](https://reader035.vdocuments.us/reader035/viewer/2022070310/55204d7049795902118c2c4f/html5/thumbnails/13.jpg)
13
Eigenschaften beim Stromnetz
• Die Infrastruktur des Stromnetzes ist an vielen Orten schon gegeben
• Es ist dem Konsument egal, wo und wie der Strom erzeugt wurde
• Man kann sich auf das Stromnetz verlassen (Spannung, etc).
• Man kann den Strom in seinen eigenen Entwicklungen/Geräten weiterverwenden
• Ende Jahr gibt‘s eine Stromrechnung
Parallelen zur Computerwelt?!?
![Page 14: Grid-Computing Mehr als nur ein Hype? Benno Baumgartner & Reto Ghioldi (ETH Zürich)](https://reader035.vdocuments.us/reader035/viewer/2022070310/55204d7049795902118c2c4f/html5/thumbnails/14.jpg)
14
Zwei Beispiele
1. Seti@home
2. fightAIDS@home
![Page 15: Grid-Computing Mehr als nur ein Hype? Benno Baumgartner & Reto Ghioldi (ETH Zürich)](https://reader035.vdocuments.us/reader035/viewer/2022070310/55204d7049795902118c2c4f/html5/thumbnails/15.jpg)
15
Seti@home
www.setiathome.com
![Page 16: Grid-Computing Mehr als nur ein Hype? Benno Baumgartner & Reto Ghioldi (ETH Zürich)](https://reader035.vdocuments.us/reader035/viewer/2022070310/55204d7049795902118c2c4f/html5/thumbnails/16.jpg)
16
Übersicht
BerkeleyArecibo radio telescope
Seti@home Seti@home Seti@home
![Page 17: Grid-Computing Mehr als nur ein Hype? Benno Baumgartner & Reto Ghioldi (ETH Zürich)](https://reader035.vdocuments.us/reader035/viewer/2022070310/55204d7049795902118c2c4f/html5/thumbnails/17.jpg)
17
Seti@home Demo
![Page 18: Grid-Computing Mehr als nur ein Hype? Benno Baumgartner & Reto Ghioldi (ETH Zürich)](https://reader035.vdocuments.us/reader035/viewer/2022070310/55204d7049795902118c2c4f/html5/thumbnails/18.jpg)
18
Statistik
Totaldie letzten 24 Stunden
Benutzer 5’026’233 1’040
Total CPU time 1’967’136 Jahre 1’231 Jahre
Fliesskomma Operationen
5,121021 5,91018 (69,2 Tflops)
1 Tflops = 1 Billion Fließkomma - Operationen pro Sekunde.
![Page 19: Grid-Computing Mehr als nur ein Hype? Benno Baumgartner & Reto Ghioldi (ETH Zürich)](https://reader035.vdocuments.us/reader035/viewer/2022070310/55204d7049795902118c2c4f/html5/thumbnails/19.jpg)
19
Fight AIDS@home
fightaidsathome.scripps.edu
![Page 20: Grid-Computing Mehr als nur ein Hype? Benno Baumgartner & Reto Ghioldi (ETH Zürich)](https://reader035.vdocuments.us/reader035/viewer/2022070310/55204d7049795902118c2c4f/html5/thumbnails/20.jpg)
20
Übersicht
MedikamentOlson Labor
Protease Blocker?
HIV
Test
Test
Test
??
![Page 21: Grid-Computing Mehr als nur ein Hype? Benno Baumgartner & Reto Ghioldi (ETH Zürich)](https://reader035.vdocuments.us/reader035/viewer/2022070310/55204d7049795902118c2c4f/html5/thumbnails/21.jpg)
21
Zusammentragen
Was zeichnet ein Grid aus?
![Page 22: Grid-Computing Mehr als nur ein Hype? Benno Baumgartner & Reto Ghioldi (ETH Zürich)](https://reader035.vdocuments.us/reader035/viewer/2022070310/55204d7049795902118c2c4f/html5/thumbnails/22.jpg)
22
Grid: Definition
Zumindest der Versuch einer Definition
[Hype-Kurve nach Gartner Goup]
heute
![Page 23: Grid-Computing Mehr als nur ein Hype? Benno Baumgartner & Reto Ghioldi (ETH Zürich)](https://reader035.vdocuments.us/reader035/viewer/2022070310/55204d7049795902118c2c4f/html5/thumbnails/23.jpg)
23
Der Traum
Nur noch ein riesiger virtueller Computer:
Das Grid
Jeder kann soviel Rechenleistung beziehen
wie er gerade braucht, egal wie schnell seine
Hardware ist.
![Page 24: Grid-Computing Mehr als nur ein Hype? Benno Baumgartner & Reto Ghioldi (ETH Zürich)](https://reader035.vdocuments.us/reader035/viewer/2022070310/55204d7049795902118c2c4f/html5/thumbnails/24.jpg)
24
Umsetzung: Übersicht
Benutzer
1 Computer
![Page 25: Grid-Computing Mehr als nur ein Hype? Benno Baumgartner & Reto Ghioldi (ETH Zürich)](https://reader035.vdocuments.us/reader035/viewer/2022070310/55204d7049795902118c2c4f/html5/thumbnails/25.jpg)
25
Grid: Definition
1. Ressourcen werden koordiniert, die nicht einer zentralen Kontrolle unterliegen.
• Verschiedene Organisationen, verschiedene Besitzer, verschiedene Länder...
2. Standardisierte, offene, allgemeine Protokolle werden verwendet.
• Autentifizierung, Autorisation, Ressourcen verwalten.
3. Stellt nicht triviale Dienste zur Verfügung.• Ein Grid ist mehr als nur die Summe der
Einzelteile.
![Page 26: Grid-Computing Mehr als nur ein Hype? Benno Baumgartner & Reto Ghioldi (ETH Zürich)](https://reader035.vdocuments.us/reader035/viewer/2022070310/55204d7049795902118c2c4f/html5/thumbnails/26.jpg)
26
Spiel
• Jeder von uns repräsentiert einen Computer
• Wir zwei haben ein beinahe unlösbares Problem
vor uns liegen, das wir mit Hilfe von euch lösen
möchten
• Wir erstellen daraus Teilprobleme und verteilen
diese euch ( kleine Zettel)
• Eure (Teil)Antworten gebt ihr uns unmittelbar
zurück ( vorne auf den Folien eintragen gehen
oder jemandem vorne zurufen )
Was passiert jetzt...
![Page 27: Grid-Computing Mehr als nur ein Hype? Benno Baumgartner & Reto Ghioldi (ETH Zürich)](https://reader035.vdocuments.us/reader035/viewer/2022070310/55204d7049795902118c2c4f/html5/thumbnails/27.jpg)
27
Erkenntnisse aus dem Spiel
• ausbleiben
• mehrfach und/oder in verschiedener Form beim
Ziel eintreffen (was stimmt jetzt?)
• korrumpiert worden sein ( Hacker)
• annähernd richtig eintreffen ( Bitfehler)
• mit grosser Verspätung eintreffen
Antworten können...
![Page 28: Grid-Computing Mehr als nur ein Hype? Benno Baumgartner & Reto Ghioldi (ETH Zürich)](https://reader035.vdocuments.us/reader035/viewer/2022070310/55204d7049795902118c2c4f/html5/thumbnails/28.jpg)
28
Massnahme 1
Antworten können...
• ausbleiben
Lösung:
Verwendung eines Zeitstempels /
Timeouts.
![Page 29: Grid-Computing Mehr als nur ein Hype? Benno Baumgartner & Reto Ghioldi (ETH Zürich)](https://reader035.vdocuments.us/reader035/viewer/2022070310/55204d7049795902118c2c4f/html5/thumbnails/29.jpg)
29
Massnahme 2
Antworten können...• mehrfach und/oder in verschiedener Form beim Ziel eintreffen
(was stimmt jetzt?)
Lösung:
Vergleichen der einzelnen
Resultate mit allfälligem
Mehrheitsentscheid oder
erneutem Berechnen.
![Page 30: Grid-Computing Mehr als nur ein Hype? Benno Baumgartner & Reto Ghioldi (ETH Zürich)](https://reader035.vdocuments.us/reader035/viewer/2022070310/55204d7049795902118c2c4f/html5/thumbnails/30.jpg)
30
Massnahme 3
Antworten können...• korrumpiert worden sein ( Hacker)
Lösung:
Erneutes senden der Anfrage.
Die Anfrage landet dann aber
nicht zwingend wieder beim
gleichen Computer.
Dave_Anderson.wav
![Page 31: Grid-Computing Mehr als nur ein Hype? Benno Baumgartner & Reto Ghioldi (ETH Zürich)](https://reader035.vdocuments.us/reader035/viewer/2022070310/55204d7049795902118c2c4f/html5/thumbnails/31.jpg)
31
Massnahme 4
Antworten können...• annähernd richtig eintreffen ( Bitfehler)
Lösung:
Mittels mathematischen Verfahren
können Fehler detektiert und in
gewissem Masse auch korrigiert
werden.
![Page 32: Grid-Computing Mehr als nur ein Hype? Benno Baumgartner & Reto Ghioldi (ETH Zürich)](https://reader035.vdocuments.us/reader035/viewer/2022070310/55204d7049795902118c2c4f/html5/thumbnails/32.jpg)
32
Massnahme 5
Antworten können...• mit grosser Verspätung eintreffen
Lösung:
Erneutes senden der Anfrage.
Die Anfrage landet dann aber
nicht zwingend wieder beim
gleichen Computer.
![Page 33: Grid-Computing Mehr als nur ein Hype? Benno Baumgartner & Reto Ghioldi (ETH Zürich)](https://reader035.vdocuments.us/reader035/viewer/2022070310/55204d7049795902118c2c4f/html5/thumbnails/33.jpg)
33
Preis/Leistung von Grid
Vergleich von
• Supercomputer• Cluster• Grid
![Page 34: Grid-Computing Mehr als nur ein Hype? Benno Baumgartner & Reto Ghioldi (ETH Zürich)](https://reader035.vdocuments.us/reader035/viewer/2022070310/55204d7049795902118c2c4f/html5/thumbnails/34.jpg)
34
Top 500 Liste (Stand: 21.6.2004)
Organisation Hardware/Prozessor Peak Tflops
1 Earth Simulator Center
Japan
Earth-Simulator
5120
40960
2 Los Alamos National
Laboratory
USA
ASCI Q - AlphaServer
SC45, 1.25 GHz
8192
20480
3 Virginia Tech
USA
1100 Dual 2.0 GHz Apple
G5
2200
17600
www.top500.orgSuper Computer
Cluster
![Page 35: Grid-Computing Mehr als nur ein Hype? Benno Baumgartner & Reto Ghioldi (ETH Zürich)](https://reader035.vdocuments.us/reader035/viewer/2022070310/55204d7049795902118c2c4f/html5/thumbnails/35.jpg)
35
Top 500 Zukunft (2007)?
Organisation Hardware/Prozessor Peak
1 CERN
Schweiz u.a.
LHC Grid
~70‘000
????
2 ? Grid? ?
3 ? Grid? ?
![Page 36: Grid-Computing Mehr als nur ein Hype? Benno Baumgartner & Reto Ghioldi (ETH Zürich)](https://reader035.vdocuments.us/reader035/viewer/2022070310/55204d7049795902118c2c4f/html5/thumbnails/36.jpg)
36
Der Traum
Keine Top 500 Liste mehr, nur noch ein riesiger virtueller
Computer:
Das Grid
![Page 37: Grid-Computing Mehr als nur ein Hype? Benno Baumgartner & Reto Ghioldi (ETH Zürich)](https://reader035.vdocuments.us/reader035/viewer/2022070310/55204d7049795902118c2c4f/html5/thumbnails/37.jpg)
37
Kosten Earth Simulator
Klima- und Erdbebensimulationen
Bau:
Betrieb:
Bauzeit:
350 Millionen $
? (10 Millionen)
5 Jahre
![Page 38: Grid-Computing Mehr als nur ein Hype? Benno Baumgartner & Reto Ghioldi (ETH Zürich)](https://reader035.vdocuments.us/reader035/viewer/2022070310/55204d7049795902118c2c4f/html5/thumbnails/38.jpg)
38
Kosten BigMac
Bau:
Betrieb:
Bauzeit:
Forschung an der Virgina Universität
5.2 Millionen $
? (0.5 Millionen)
2 Tage
![Page 39: Grid-Computing Mehr als nur ein Hype? Benno Baumgartner & Reto Ghioldi (ETH Zürich)](https://reader035.vdocuments.us/reader035/viewer/2022070310/55204d7049795902118c2c4f/html5/thumbnails/39.jpg)
39
Kosten LHC Grid
Auswertung von Teilchenbeschleuniger LHC
Bau:
Betrieb:
Bauzeit:
02-05: 10 Mio Euro (EU)05-07: ??
? (1 Million)
6 Jahre
![Page 40: Grid-Computing Mehr als nur ein Hype? Benno Baumgartner & Reto Ghioldi (ETH Zürich)](https://reader035.vdocuments.us/reader035/viewer/2022070310/55204d7049795902118c2c4f/html5/thumbnails/40.jpg)
40
Novartis and the Grid
• Zwei Texte
• Novartis
• The Datagrid
• Zu zweit, jeder liest einen der Texte
• Danach diskutiert miteinander über eure Texte
![Page 41: Grid-Computing Mehr als nur ein Hype? Benno Baumgartner & Reto Ghioldi (ETH Zürich)](https://reader035.vdocuments.us/reader035/viewer/2022070310/55204d7049795902118c2c4f/html5/thumbnails/41.jpg)
41
Geeignete Probleme für Grids
1. Hoher Rechenaufwand
2. Geringe Bandbreite
3. Verfügbarkeit nicht garantiert!
• Viren
4. Geschwindigkeit nicht garantiert!
• Moorhuhn
5. Zerlegbar in Teilprobleme
![Page 42: Grid-Computing Mehr als nur ein Hype? Benno Baumgartner & Reto Ghioldi (ETH Zürich)](https://reader035.vdocuments.us/reader035/viewer/2022070310/55204d7049795902118c2c4f/html5/thumbnails/42.jpg)
42
Beispiele
• Simulationen dynamischer Systeme (Erdbeben)• Auswerten von Messergebnissen (Seti, LHC)• Simulation von Medikamenten (protease
blocker)• Dekodieren von Gensequenzen (Human Genom
Projekt)• Berechnung von Proteinfaltung• Datenbanken optimieren• Sortieren von Daten
• ...
![Page 43: Grid-Computing Mehr als nur ein Hype? Benno Baumgartner & Reto Ghioldi (ETH Zürich)](https://reader035.vdocuments.us/reader035/viewer/2022070310/55204d7049795902118c2c4f/html5/thumbnails/43.jpg)
43
Grid Frameworks
• mygrid.sourceforge.net [mygrid.sourceforge.net]– Open Source– Grid Client (java/.net/mono)– Grid Middleware (.net/mono)
• Grid MP Enterprise [www.ud.com]– Kommerziell– Windows, Linux, AIX, Solaris– Lizenz für 100’000 Clients
• Globus Alliance [www.globus.org]– Initiative von verschiedenen Universitäten
![Page 44: Grid-Computing Mehr als nur ein Hype? Benno Baumgartner & Reto Ghioldi (ETH Zürich)](https://reader035.vdocuments.us/reader035/viewer/2022070310/55204d7049795902118c2c4f/html5/thumbnails/44.jpg)
44
Globus Beispiel
Lässt meinprogramm für maximal 4 Stunden auf 5
Rechner laufen, die mindestens 64MB Speicher haben.
globusrun -r resource_broker_name“&(count=5)
(max_time=240) (memory>=64) (executable=meinprogramm)
(stdin=https://quad:1234/~/myin) (stdout=/home/bester/output) (stderr=https://quad:1234/stdout)”
![Page 45: Grid-Computing Mehr als nur ein Hype? Benno Baumgartner & Reto Ghioldi (ETH Zürich)](https://reader035.vdocuments.us/reader035/viewer/2022070310/55204d7049795902118c2c4f/html5/thumbnails/45.jpg)
45
MyGrid Architektur
![Page 46: Grid-Computing Mehr als nur ein Hype? Benno Baumgartner & Reto Ghioldi (ETH Zürich)](https://reader035.vdocuments.us/reader035/viewer/2022070310/55204d7049795902118c2c4f/html5/thumbnails/46.jpg)
46
MyGrid GUI
![Page 47: Grid-Computing Mehr als nur ein Hype? Benno Baumgartner & Reto Ghioldi (ETH Zürich)](https://reader035.vdocuments.us/reader035/viewer/2022070310/55204d7049795902118c2c4f/html5/thumbnails/47.jpg)
47
MyGrid XML
![Page 48: Grid-Computing Mehr als nur ein Hype? Benno Baumgartner & Reto Ghioldi (ETH Zürich)](https://reader035.vdocuments.us/reader035/viewer/2022070310/55204d7049795902118c2c4f/html5/thumbnails/48.jpg)
48
Was haben wir heute gesehen?
• Was versteht man unter dem Begriff Grid
• Beispiele für Grid
• Probleme eines Grid
• Vergleich Supercomputer/Cluster/Grid
• Architektur eines Grids