grid 5000?

Journée du LRI 125 Juin 2003

AS1 RTP8 SticAS RTP 8 du CNRS :

Etude Préparatoire pour une plate-forme de Grille expérimentale d’échelle nationale

“enabling Grid 5000”

Grid 5000?


AS1 RTP8 Stic"Enabling Grid'5000" Action Specifique du RTP 8 du CNRS

Meeting 1: September 17 2003, CNRS, Room Frederic Joliot, 3 Rue Michel Ange, Paris

This first meeting will present: a) the Grid'5000 effort, b) experience of an early Grid project, and a first mini-workshop on Security. The central issue of the workshop is to investigate how we can setup the security of a Grid runtime environment which should allow the test of Grid middleware such as Globus, Legion, XtremWeb, etc. 09h30 Welcome address + some info about other Grid experimental platforms 10h15 Grid'5000 call for proposal : Michel Cosnard 11h00 Break 11h15 e-toile experience : Pascal Primet, ENS Lyon 12h00 Lunch at your own 13h45 Security : the INRIA VPN : Claude Inglebert, INRIA Futurs 14h15 Security at the LRI : Jean-Claude Barbet, LRI 14h45 Security and Certificats : J.-L. Archimbaud, UREC (tentative) 15h15 Break 15h30 General discussion (1) -which objective(s) for the AS? -discussion groups & leaders ? 16h30 Break 16h45 General discussion (2) -which Grid center(s) to visit? -next meeting date and topic 17h45 Closing


AS1 RTP8 Stic

1) Sophia Antipolis (INRIA) : Stéphane Lanteri/Denis Caromel Daniel

Terrer/David Geldreich

2) Nancy (LORIA) : Emmanuel Jeannot comme correspondant

scientifique/technique

3) Rennes (IRISA) : Yvon Jégou comme correspondant scientifique/technique

4) Paris/Orsay (LIP6, LRI) : Pierre Sens (Lip6) et Franck Cappello (LRI) comme

correspondants scientifiques, Vincent Néri comme correspondant technique

5) Grenoble (ID-Imag) : Olivier Richard comme correspondant scientifique et

Philippe Augérat comme correspondant technique.

6) Lyon (LIP) : Eddy Caron et Pascale Primet comme correspondant

scientifique/technique

7) Bordeaux (LABRI) : Raymond Namyst comme correspondants scientifiques

et Olivier Coulaud comme correspondant technique.

8) Lille (LIFL) : Nouredine Melab comme correspondant scientifique/technique

9) Versailles (PRISM) : Nahid Emad, Bertarnd Lecun

10) Belfort (LIFC) : Jacques Bahi comme correspondant scientifique, Jean-Luc

Anthoine correspondant technique

Participants


AS1 RTP8 Stic

Open issues in Grid/P2P

• Security (GSI, CAS)• Data Storage/consultation/movement• Multi users/ Multi applications scheduling• Coordination (virtual, ephemeral infrastructure)• Programming• Fault Tolerance!• Scalability• Performance• Easy/efficient deployment techniques• Application characterization techniques• Etc.


AS1 RTP8 Stic

Fonctionnement idéalisé :

*Plate-forme d'expérimentation à très grande échelle disposant d'une qualité de service suffisante pour mener des expérimentations.

*Reconfiguration des machines pour une expérience : changement de système d’exploitation, de noyau, de pile de protocole de communication (IPV6, IPV4), des stratégies de sécurité

•Capacité de reproduction des conditions expérimentales et des résultats (en particulier une même expérience lancée depuis n’importe quel site devrait produire des résultats similaires).

•Recueil, stockage et injection de conditions expérimentales,

•Mécanismes de mesure précis et consistants, stockage, archivage, recherche, visualisation des résultats de mesures


AS1 RTP8 Stic

Fonctionnement idéalisé :

*Outils globaux visant à faciliter le déploiement, le lancement et le contrôle d’expériences.

*Langage pour la description des plans d'expérimentation (JDL, RSL ou extensions).

*Système d'accès et de contrôle d’accès à guichet unique (hiérarchique) : sécurité par PKI, et "sigle sign-on" global lors de l'exécution des applications.

•Système de réservation (semi)-automatisée des noeuds pour la réalisation d'expériences.

•Système de soumission unique permettant de déployer des processus d'une manière homogène, simple et sécurisée.

•Installation potentielle des grappes en dehors des domaines d’administration des laboratoires d’accueil (VPN).

•Mettre en place une communication (page web) qui permette à tous les utilisateurs potentiels de savoir comment acquérir un compte, se connecter et utiliser la Grille.


AS1 RTP8 Stic

Le groupe de réflexion aura pour rôle de :

•Définir les principes/méthodes/techniques permettant l’exécution

rigoureuse d’expériences sur la Grille expérimentale

•Définir une politique d’exploitation des clusters connectés à la grille de sorte que l’expérimentation soit possible et les résultats d’expériences pertinents.

•Définir une méthode et identifier les outils d’administration/maintenance de la Grille.

•Définir une politique de sécurité et sa mise en œuvre (firewall, accounting, certificats, etc.), qui permettent la réalisation d’expérience au niveau national tout en restant le plus possible compatible avec les politiques locales.


AS1 RTP8 Stic

Le groupe de réflexion aura pour rôle de :

•Définir des recommandations de technologies matérielles/logicielles de sorte que des expériences à l’échelle nationale soient faisables, les mesures pertinentes et reproductibles.

•Réfléchir à la possibilité d’un calendrier (éviter des achats/livraisons trop en avance/tardive),

•Etablir les besoins en financement et recrutement d’ingénieurs et de techniciens pour maintenir la grille et réaliser une expertise technique auprès des utilisateurs.


AS1 RTP8 Stic

Existing Grid experimentalplatforms

• Naregi (Japan)

• Holland Grid

• Tera Grid (USA)

• Data Grid (EU)

• E-Toile (Fr.)


AS1 RTP8 Stic

Grid eXplorer

A) “Mettre en œuvre, pour la communauté des chercheurs en informatique une plate-forme d’émulation des systèmes à grande échelle de type GRID, P2P ou des systèmes répartis en général : Data Grid Explorer.

B) Réaliser des expériences utilisant la plate-forme sur les systèmes à grande échelle en étudiant notamment la problématique des données massives (sécurité, fiabilité, performance). “

• 1K CPU clusters

• configurable network (Ethernet, Myrinet, others?)

• configurable OS (kernel, distribution, etc.)

• Multi-users

• Located/managed by IDRIS


AS1 RTP8 Stic

Netbed (Emulab)Comme « Modelnet »

Description de la topologie => NS scriptUtilisation de DummynetOutils de Mapping routeur_logique => machine physiqueUtilisation du simulateur NSE (ns emulation)Utilisation de noeuds exterieurs client (40 DSL)

3 Sites


AS1 RTP8 SticGrid eXplorerAnalogy with physic instruments

A set of sensorsInside real platform

A database ofReal platform

A Hardware Platform forEmulationSimulation

Validation on real platforms

A tool set for ObservationResults Analysis


AS1 RTP8 SticACI MD Data Grid Explorer

Meeting 1: Building 41, second floor, room 203, September 16 2003, Jussieu

This first meeting aims at presenting the different partners of the Data Grid Explorer project.

09h00 Welcome address: Franck Cappello (LRI, Inria Grand-Large), 30 min. 09h30 TT1 "Emulation" session. Chair: Pierre Sens -Overall presentation of the Emulation topic: Pierre Sens (Lip6, Inria Regal), 20 min. -GDS: Grid Data Service: Gabriel Antoniu (IRISA), 30 min. -Scheduling Strategy for Large Scale Dist. Scheduling: S. Petiton (LILF, Inria Grand-Large), 30 min. 10h50 Break 11h10 TT1 "Emulation" session. Chair: Pierre Sens (Cont.) -A simulation tool for large scale nearest neighbor sched.: T. Herault (LRI, Inria Grand-Large), 30 min. -Experience with Dummynet, A. Jebali (Inria Ragal), 30 min. 12h10 Lunch at your own 13h40 TT2 "Infrastructure" session. Chair: Olivier Richard -Overall presentation of the Infrastructure topic: Olivier Richard (ID IMAG), 20 min. -Network Trace collection for emulation: Kave Salamatian (Lip6), 30 min -Large Scale Emulation with Proactive: Christian Delbe (INRIA Sophia), 30 min. 15h00 Break 15h10 TT3 "Network" session. Chair: Pascale Primet -Overall presentation of the Infrastructure topic: Pascale Primet (LIP, Inria Reso), 20 min. -Metrology, simulation, emulation limits and needs, Philippe Owersarski (LAAS, Olc), 30 min. 16h00 TT4 "Application" session. Chair Christophe Cerin -Overall presentation of the Infrastructure topic: Christophe Cerin (Laria), 20 min. -Molecular Biology a the Genome Scale, Christophe Blanchet (IBCP), 30 min. 16h50 Break 17h00 General discussion -organization of the first WP: platform hardware definition -next meeting date and topic -Web site/slide copies, etc. 18h00 Closing


AS1 RTP8 Stic

Open issues about the AS

• Which objective?– Prepare Grid’5000 deployment and setup.– Two extremes

• 1) give a set of recommendations (secu., Sched, etc.)• 2) deploy, setup a mini-prototype (3 to 5 sites with 4 nodes each)

– If 2) who will do the job? (some participants of the AS are full time engineers)

• Should we have group leaders? (Security, network, middleware, platform hardware?)

• Which Grid centers to visit (Tera Grid, Nageri only 3750€ per site)?

• Next Meeting date and topic?


AS1 RTP8 Stic

Open issues about Grid’5000

• Grid’5000 is an experimental platform (for all applications?)– It should be possible to deploy Globus as an experiment

• Security/deployment: should we consider a 2 level Globus (GSI + Gram)? or Should we consider a low level middleware:i.e. VPN + low level deployment (XtremWeb can be used for that!)

• What are the other usage of the GRID’5000 clusters?• What is the priority between these usages?

• How to schedule experiments (gang scheduling) ? • How to share the resources efficiently and fairly?• How can we reboot one node, one site, Grid’5000?• How to inject experimental conditions (node activity)?• How can we put a set of sensors inside Grid’5000?• Which network, what bandwidth, dedicated?


AS1 RTP8 Stic

Questions to Michel• Who can apply?

• What will be the usage policy?

• Will the clusters be homogeneous?– (if heterogeneous, to what extend?, cpu,network, system, middleware)

• Are other disciplines (Bio, Physics, etc.) involved in the project?

• What relation/partnership with other international projects

• Is there an animation structure? (i.e. how do you see the role of the AS?)

• Can smaller cluster be attached to Grid’5000 (not funded by the call)?

• What about the coordination? (is there a leader?)

grid 5000?

Documents