Folie 0Users work timely and spatially separated
They need access to common data collections
Provided by distributed file systems (DFS)
Distributed work leads to new business models
24/7 customer service
Economic relevance!
Structured discussion necessary
Data encapsulated in objects
Explicit creation and deletion
Unaffected by system failures
Three different usage dimensions
Single-thread vs. multi-thread OS
Basics – Storage fundamentals
Different dimensions
Benennung von Dateien, Zugriff
Nebenläufigkeit, Deadlocks
Sicherheitsmechanismen (Authentifizierung, Autorisierung)
Effizienz (nur geringe Beeinflussung der Performance), Neubetrachtung von Authentifizierung, Nebenläufigkeit
*
Access, performance, location, scaling transparency
Availability
Concurrent updates
Replication
Basics – Requirements for DFS (1/2)
Von Satyanarayanan
Leistungstransparenz = Programmperformance unabhängig von Last
Ortstransparenz = Dateiname unabhängig von wirklichem Speicherort
Skalierungstransparenz = System erweiterbar ohne tiefere Eingriffe oder Ausfälle
Verfügbarkeit
Nebenläufigkeit
Replikation
*
Security
Efficiency
Basics – Requirements for DFS (2/2)
Heterogenität
Konsistenz
Sicherheit
Effizienz
Source: [CDK01], p. 318
Verzeichnisservice
Werden als Dateien im Flat file service abgelegt haben UFID
Clientmodul
Mappt lokale Dateioperationen auf Remoteoperationen
Zuständig für Caching
Source: [CDK01], p. 319-322
Flat file service
Liste von Referenzoperationen
Hierarchical file structure
Directories may store references to other directories
File groups
Similar to a file system
Basics – Abstract file service model (3/3)
Zugriffskontrolle
Server muss auch autorisieren können
Zugriffsrechte nur bei Verzeichnis- oder jedem Zugriff
Modell gibt nichts vor; Operationen haben Zugriff auf Userinformation als implizite Information
Hierarchische Dateistruktur
Dateigruppen
Dateigruppen-Identifier (FGID) als Teil der UFID
Mapping zwischen FGID und verantwortlichem Server als Datei
*
1984: NFSv2
1992: NFSv3
2002: NFSv4
Client requests are blocking (Exception: asynchronous write)
User authentication
Optional: Kerberos, DES
NFS – General description (2/2)
erlaubt einfache Fehlerbehandlung, da Server nur neu gestartet werden muss
Verarbeitung im Client-Modul: Neusenden der Requests
Authentifizierung
Caching
Lesecache: Ja, Server: kann vergangene Schreiboperationen für schnelleres Lesen cachen. Client: Cached vergangene Schreiboperationen, Verzeichnisse, Attribute
*
*
Access control
File groups
NFS – Abstract model (2/2)
Abstrakte Operationen können alle abgebildet werden
…
Dateigruppen
*
Leistungstransparenz nicht unbedingt gegeben, wenn Bottleneck beim Server
Skalierungstransparenz problematisch, da nur einzelner Server
Verfügbarkeit hoch, da zustandslos
Replikation
Daten müssen dann manuell zwischen Servern verbeitet werden
Heterogenität
Konsistenz hoch, da keine Replikation und one-file copy semantics
Sicherheit schlecht
*
Provides support for teaching and research
1989: Spin-off
2000: Open-source
Since then: continuous development
Stateful protocol
AFS – General description (3/3)
Gut für Dateien, die viel gelesen und wenig geschrieben werden
Gut für Dateien, die von wenigen Usern geschrieben werden
Gut für
Access control
Hierarchical file system
File groups
AFS – Abstract model (2/2)
Replikation
Heterogenität
Konsistenz nicht gut, Clients können verschiedene Versionen einer Datei sehen
Sicherheit
Effizienz
File cache hit ratio ~ 98%
Skaliert gut, da Zellen einfach hinzugefügt werden können
*
Easily handles thousands of clients and servers
Uses object-based storage
High-level abstraction
Three system roles
Separation of directory and flat file service
File attributes managed by OSTs
Hierarchical file systems
High availability
Different implementations
Other approach: Lustre
Future developments
Large-scale environments
Cloud computing
Any questions?
Distributed file systems
[BS02] Peter J. Braam, Philip Schwan: Lustre: The intergalactic le system, Proceedings of the 2003 Ottawa Linux Symposium, pp. 50–54, 2002.
[CDK01] George Coulouris, Jean Dollimore, Tim Kindberg: Distributed Systems, Concepts and Design, 3rd. ed., Addison-Wesley, 2001.
[Kir06] Olaf Kirch: Why NFS Sucks, Proceedings of the Linux Symposium, 2nd. ed., pp. 51–63, 2006.
[MSC+ 86] James H. Morris, Mahadev Satyanarayanan, Michael H. Conner, John H. Howard, David S. H. Rosenthal, F. Donelson Smith: Andrew: A distributed personal computing environment, Commununications of the ACM, 29(3), pp. 184–201, Association for Computing Machinery, 1986.
[PJS+ 94] Brian Pawlowski, Chet Juszczak, Peter Staubach, Carl Smith, Diane Lebel, David Hitz: NFS Version 3: Design and Implementation, Proceedings of the Summer 1994 USENIX Technical Conference, pp. 137–151, 1994.
[Sat89] Mahadev Satyanarayanan: Distributed le systems, Distributed systems, S. Mullender (ed.), pp. 149–188, ACM Press, 1989.
[Sch03] Philip Schwan: Lustre: Building a le system for 1000-node clusters, Proceedings of the 2003 Ottawa Linux Symposium, pp. 380–386, 2003.
[Tan03] Andrew S. Tanenbaum: Moderne Betriebssysteme, 2nd. ed., Prentice Hall, 2003.
[Tv07] Andrew S. Tanenbaum, Marten van Steen: Distributed Systems: Principles and Paradigmsva, 2nd. ed., Prentice Hall, 2007.
Literature