architectures of parallel computers
Post on 02-Jan-2016
35 Views
Preview:
DESCRIPTION
TRANSCRIPT
Daniel Schulze Zumkley
Architectures of parallel computers
Parallel Programming and Parallel Algorithms
Architectures of parallel computers
Agenda
Motivation Grundinformationen
o Flynn‘s Taxonomy: Ideeo TOP500
Drei parallele Computer-Architektureno Processor Arrayo Multiprocessorso Multicomputers
Flynn‘s Taxonomy: Einordnung Ausblick
1
Architectures of parallel computers
Agenda
Motivation Grundinformationen
o Flynn‘s Taxonomy: Ideeo TOP500
Drei parallele Computer-Architektureno Processor Arrayo Multiprocessorso Multicomputers
Flynn‘s Taxonomy: Einordnung Ausblick
Architectures of parallel computers
Notwendigkeit
Wissenschaftlicher Bereich:o Erste parallele Rechner in den 1960ero Universitäten, Wissenschaftliche Labore, Militäro Simulationen (Klima, Flugzeuge und Windtunnel, Nuklear-Waffen…)o Hoch komplizierte Berechnungeno Supercomputer
Privater Bereich:o Dual-Core, Quad-Core Prozessoren
2
Architectures of parallel computers
Agenda
Motivation Grundinformationen
o Flynn‘s Taxonomy: Ideeo TOP500
Drei parallele Computer-Architektureno Processor Arrayo Multiprocessorso Multicomputers
Flynn‘s Taxonomy: Einordnung Ausblick
Architectures of parallel computers
Flynn’s Taxonomy
MIMDMIMD
SISDSISD SIMD
MISD
SingleSi
ngle
MultipleM
ultip
leData Stream
Inst
ructi
on s
trea
m
Klassifikation von Rechnerstrukturen:
3
Architectures of parallel computers
Agenda
Motivation Grundinformationen
o Flynn‘s Taxonomy: Ideeo TOP500
Drei parallele Computer-Architektureno Processor Arrayo Multiprocessorso Multicomputers
Flynn‘s Taxonomy: Einordnung Ausblick
Architectures of parallel computers
TOP500
Idee: Liste der 500 schnellsten Computersysteme der Welt Verfasser: Organisation TOP500
o Universitäten Mannheimo University of Tennesseeo National Research Scientific Computing Center
Erstellung: Seit 2003; zweimal pro Jahr Messung: Linpack-Benchmarking
o Programmbibliothek zum Lösen von linearen Gleichungssystemeno Angabe der Ergebnisse in Gleitkommaoperationen pro Sekunde (FLOPS)
Website: http://www.top500.org
4
Architectures of parallel computers
Agenda
Motivation Grundinformationen
o Flynn‘s Taxonomy: Ideeo TOP500
Drei parallele Computer-Architektureno Processor Arrayo Multiprocessorso Multicomputers
Flynn‘s Taxonomy: Einordnung Ausblick
Architectures of parallel computers
Processor Arrays – Aufbau
Interconnection networkInterconnection network
PP PP PP PPPP
MM MM MM MMMM
CPUCPU MemoryMemory I/O processorsI/O processors
Front-end computer
ProcessorArray
I/O devices
Parallel I/O devices
Global result bus
Instruction broadcast busScalar memory bus
5 Quelle: Quinn 04
Architectures of parallel computers
Processor Array - Bewertung
Vorteile:o Skalierbarkeit (hoch)o Einzelne Prozesse sind unabhängig
Nachteile:o Skalierbarkeit (runter) o Keine bzw. ineffiziente Ausführung bei parallelem Codeo Gewöhnlich Single-User Syteme
Verlust eines Vorteils:o Kosten der Control Units ist stark gesunken
5
Architectures of parallel computers
Processor Array & Flynn’s Taxonomy
MIMDMIMD
SISDSISD SIMD
MISD
SingleSi
ngle
MultipleM
ultip
leData Stream
Inst
ructi
on s
trea
m
Processor arrays
6
Architectures of parallel computers
Processor Array & TOP500
Bekanntes System: Earth Simulatoro Ermöglicht die Simulation des Erdklimaso Über 2 Jahre Nr. 1 der TOP500 (2002-2004)o 35,86 Terapflops; 5120 Prozessoren
Heutige Situation:o Nur noch ein System in den TOP500, welches auf diesem Ansatz basiert
7
Architectures of parallel computers
Agenda
Motivation Grundinformationen
o Flynn‘s Taxonomy: Ideeo TOP500
Drei parallele Computer-Architektureno Processor Arrayo Multiprocessorso Multicomputers
Flynn‘s Taxonomy: Einordnung Ausblick
Architectures of parallel computers
Multiprocessors
Gemeinsamer Adressraum: Die gleiche Adresse zwei verschiedener CPUs bezieht sich auf die selbe Stelle im Speicher
2 Arteno UMA Multiprocessors (Uniform Memory Architecture)
• Ein zentraler Speicher für alle Prozessoren• Einheitliche Zugriffszeiten
o NUMA Multiprocessors (Non-Uniform Memory Architecture)
• Jeder Prozessor besitzt eigenen Speicher• Unterschiedliche Zugriffszeiten
8
Architectures of parallel computers
UMA Multiprocessor - Aufbau
BusBus
Cache
memory
Cache
memory
CPUCPU
Cache
memory
Cache
memory
CPUCPU
Cache
memory
Cache
memory
CPUCPU
Cache
memory
Cache
memory
CPUCPU
Primary
memory
Primary
memoryI/O
devices
I/O
devices
Quelle: Quinn 049
Architectures of parallel computers
UMA Multiprocessor - Bewertung
Weitere Bezeichnungen:o centralized multiprocessoro symmetric multiprocessor (SMP)
Vorteile:o 1 Bus => Keine Netzwerkverbindung notwendigo Jeder Prozessor hat eigenen Cache => schnelle Zugriffszeiten
Nachteile:o 1 Bus => schlechte Skalierbarkeit (Flaschenhals) o Cache-Inkohärenz
9
Architectures of parallel computers
UMA-Multiprocessors & Cache - Inkohärenz
BusBus
CPU
P1
CPU
P1CPU
P2
CPU
P2
PrimarymemoryPrimarymemory
BusBus
CPU
P1
CPU
P1CPU
P2
CPU
P2
Cachememory
Cachememory
PrimarymemoryPrimarymemory
X Y
X
BusBus
CPU
P1
CPU
P1CPU
P2
CPU
P2
PrimarymemoryPrimarymemory
X
Cachememory
Cachememory
Cachememory
Cachememory
Cachememory
Cachememory
Cachememory
Cachememory
X X
Cachememory
Cachememory
Y
10
Architectures of parallel computers
UMA-Multiprocessors & Cache - Inkohärenz
Cache Kohähernz durch Snooping:
Jeder Prozessor “schnüffelt” konstant am Bus Vergleicht Information mit eigenem Cache Reagiert entsprechend der Snoop-Logik (Lese- und
Schreibzugriffsrechte)
11
Architectures of parallel computers
NUMA Multiprocessors: Aufbau
Interconnection networkInterconnection network
Cache
memory
Cache
memory
CPUCPU
I/O
devices
I/O
devicesMemor
yMemor
y
Cache
memory
Cache
memory
CPUCPU
I/O
devices
I/O
devicesMemor
yMemor
y
Cache
memory
Cache
memory
CPUCPU
I/O
devices
I/O
devicesMemor
yMemor
y
12 Quelle: Quinn 04
Architectures of parallel computers
NUMA Multiprocessors: Bewertung
Vorteile:o Skalierbarkeito Meist kürzere Zugriffszeit als bei UMA
Nachteile:o Kosteno Cache-Inkohärenz
12
Architectures of parallel computers
NUMA-Multiprocessors & Cache - Inkohärenz
Directory-based coherence:
Directory = Liste mit jeweiligem Status aller gecachten Blöcke Bei jeder Anfrage eines Prozessors wird der Status überprüft Reaktion entsprechend des Protokols (Lese- und Schreibzugriffe)
13
Architectures of parallel computers
Multiprocessors & Flynn’s Taxonomy
MIMDMIMD
SISDSISD SIMD
Processor arrays
MISD
SingleSi
ngle
MultipleM
ultip
leData Stream
Inst
ructi
on s
trea
m
Multiprocessors
14
Architectures of parallel computers
Multiprocessors & TOP500
UMA:o Keine Berücksichtigung dieser Architektur beim Bau von Supercomputern
(schlechte Skalierbarkeit)o Häufiger Einsatz dieser Technik in PCs (Multi-Core Prozessoren)
NUMA:o Bsp.: SGI HLRB-II-Altix 4700
• Platz 82 in Nov. 2009• 62 Teraflops; 9728 CPUs
15
Architectures of parallel computers
Agenda
Motivation Grundinformationen
o Flynn‘s Taxonomy: Ideeo TOP500
Drei parallele Computer-Architektureno Processor Arrayo Multiprocessorso Multicomputers
Flynn‘s Taxonomy: Einordnung Ausblick
Architectures of parallel computers
Multicomputers
Verteilter Adressraum: Die gleiche Adresse zwei verschiedener CPUs bezieht sich auf verschiedene Stellen in unterschiedlichen Speichern
2 Arteno Asymmetrischo Symmetrisch
16
Architectures of parallel computers
Asymmetrical Multicomputers - Aufbau
ComputerComputer
ComputerComputer
ComputerComputer
ComputerComputer
Interconnection network
Interconnection network
Front-end computerFront-end computerInternetInternet
UserUser
File serverFile server
Multicomputer
17 Quelle: Quinn 04
Architectures of parallel computers
Asymmetrical Multicomputers - Bewertung
Vorteile:o Einfacher Aufbauo Keine Cache-Inkohärenzo Nur Front-End Computer benötigt volle Funktionalität
Nachteile:o Front-End Computer ist Flaschenhalso Bei Ausfall des Front-End Computers fällt das ganze System auso Die Back-End Computer können nicht direkt mit dem User kommunizieren
17
Architectures of parallel computers
Symmetrical Multicomputers - Aufbau
ComputerComputer ComputerComputer ComputerComputer
ComputerComputer
Interconnection network
Interconnection network
InternetInternet
UserUser
File serverFile serverComputerComputer
MulticomputerMulticomputer
18 Quelle: Quinn 04
Architectures of parallel computers
Symmetrical Multicomputers - Bewertung
Vorteile:o Keine Cache-Inkohärenzo Keine Abhängigkeit von einem Front-End Computero Alle Computer können mit dem User kommunizieren
Nachteile:o Alle Computer brauchen volle Funktionalitäto Komplexe Struktur (Vision eines Einzelcomputers, Balance der Auslastung)
18
Architectures of parallel computers
Multicomputers & Flynn’s Taxonomy
MIMD
Multiprocessors
MIMD
Multiprocessors
SISDSISD SIMD
Processor arrays
MISD
SingleSi
ngle
MultipleM
ultip
leData Stream
Inst
ructi
on s
trea
m
Multicomputers
19
Architectures of parallel computers
Multicomputers & TOP500
Fast alle Systeme in den TOP500 sind Multicomputer
Schnellste Computer der Welt (Stand Nov. 2009): Cray XT5-HE Opteron Six Core 2.6 GHzo 1,75 Petaflops; 224162 CPUs
20
Architectures of parallel computers
Agenda
Motivation Grundinformationen
o Flynn‘s Taxonomy: Ideeo TOP500
Drei parallele Computer-Architektureno Processor Arrayo Multiprocessorso Multicomputers
Flynn‘s Taxonomy: Einordnung Ausblick
Architectures of parallel computers
Flynn’s Taxonomy
MIMDMIMD
SISDSISD SIMD
MISD
SingleSi
ngle
MultipleM
ultip
leData Stream
Inst
ructi
on s
trea
m
Uniprocessor
Systolic arrays
Processor arrays
MultiprocessorsMulticomputers
21
Architectures of parallel computers
Agenda
Motivation Grundinformationen
o Flynn‘s Taxonomy: Ideeo TOP500
Drei parallele Computer-Architektureno Processor Arrayo Multiprocessorso Multicomputers
Flynn‘s Taxonomy: Einordnung Ausblick
Architectures of parallel computers
Ausblick
“Moore’s law” stark vereinfacht: “Computer chips get twice as fast every year or two”.o Entspricht nicht ganz der Realitäto Prinzip gilt noch immer
Trend ist und bleibt paralelles Rechneno Hauptsächlich MIMD Systemeo Technischer Fortschritt senkt Kosten => Technik auch im PC
22
Architectures of parallel computers
Vielen Dank für Eure Aufmerksamkeit!
Fragen?
Architectures of parallel computers
Dual Core
top related