· pdf fileétude et development d'un manipulateur mobile à deux bras pour...

39
!

Upload: phamngoc

Post on 06-Feb-2018

213 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: · PDF fileÉtude et development d'un manipulateur mobile à deux bras pour l'assistance aux personnes handicapées. LAAS LIRMM Montpellier LISIF Ivry sur seine
Page 2: · PDF fileÉtude et development d'un manipulateur mobile à deux bras pour l'assistance aux personnes handicapées. LAAS LIRMM Montpellier LISIF Ivry sur seine

Architectures Dynamiques Reconfigurables pour Systèmes Embarqués

Autonomes Mobiles

Reconfigurable and Dynamic Architectures for Mobile Autonomous Embedded Systems

The ADREAM project

Page 3: · PDF fileÉtude et development d'un manipulateur mobile à deux bras pour l'assistance aux personnes handicapées. LAAS LIRMM Montpellier LISIF Ivry sur seine

Page 4: · PDF fileÉtude et development d'un manipulateur mobile à deux bras pour l'assistance aux personnes handicapées. LAAS LIRMM Montpellier LISIF Ivry sur seine

Page 5: · PDF fileÉtude et development d'un manipulateur mobile à deux bras pour l'assistance aux personnes handicapées. LAAS LIRMM Montpellier LISIF Ivry sur seine

Page 6: · PDF fileÉtude et development d'un manipulateur mobile à deux bras pour l'assistance aux personnes handicapées. LAAS LIRMM Montpellier LISIF Ivry sur seine

A team of cleaning robots

Several semi-autonomous wheelchairs

Several assistive or

companion robots

A group of service robots

Page 7: · PDF fileÉtude et development d'un manipulateur mobile à deux bras pour l'assistance aux personnes handicapées. LAAS LIRMM Montpellier LISIF Ivry sur seine

Page 8: · PDF fileÉtude et development d'un manipulateur mobile à deux bras pour l'assistance aux personnes handicapées. LAAS LIRMM Montpellier LISIF Ivry sur seine

Page 9: · PDF fileÉtude et development d'un manipulateur mobile à deux bras pour l'assistance aux personnes handicapées. LAAS LIRMM Montpellier LISIF Ivry sur seine

•–

Page 10: · PDF fileÉtude et development d'un manipulateur mobile à deux bras pour l'assistance aux personnes handicapées. LAAS LIRMM Montpellier LISIF Ivry sur seine

•–

Page 11: · PDF fileÉtude et development d'un manipulateur mobile à deux bras pour l'assistance aux personnes handicapées. LAAS LIRMM Montpellier LISIF Ivry sur seine

•–––

Page 12: · PDF fileÉtude et development d'un manipulateur mobile à deux bras pour l'assistance aux personnes handicapées. LAAS LIRMM Montpellier LISIF Ivry sur seine

Page 13: · PDF fileÉtude et development d'un manipulateur mobile à deux bras pour l'assistance aux personnes handicapées. LAAS LIRMM Montpellier LISIF Ivry sur seine
Page 14: · PDF fileÉtude et development d'un manipulateur mobile à deux bras pour l'assistance aux personnes handicapées. LAAS LIRMM Montpellier LISIF Ivry sur seine

Page 15: · PDF fileÉtude et development d'un manipulateur mobile à deux bras pour l'assistance aux personnes handicapées. LAAS LIRMM Montpellier LISIF Ivry sur seine

An Autonomous Interactive Robot guide

Robot Searches for interaction when left alone

Establishes a common task

Programming a H/R task involving several perception and interaction modalities

Abandons mission if guided person stops following

Rackham at « Cité de l’Espace »:

Page 16: · PDF fileÉtude et development d'un manipulateur mobile à deux bras pour l'assistance aux personnes handicapées. LAAS LIRMM Montpellier LISIF Ivry sur seine

Participating labs:

LAAS, ToulouseEPFL, LausanneIPA, StuttgartKTH, StockholmU. KarlsruheU. BielefeldU. HertfordshireU. AmsterdamVU. Brussels

Funded by the EU FP6 -IST- FET

“Beyond Robotics” Program

Page 17: · PDF fileÉtude et development d'un manipulateur mobile à deux bras pour l'assistance aux personnes handicapées. LAAS LIRMM Montpellier LISIF Ivry sur seine

••••••

aims developing key components of the next generation of robots, including industrial robots and assist devices (robots of non-industrial applications, e.g. for service, health-care, and entertainment), designed to share the environment and to physically interact with people.

Page 18: · PDF fileÉtude et development d'un manipulateur mobile à deux bras pour l'assistance aux personnes handicapées. LAAS LIRMM Montpellier LISIF Ivry sur seine

No human aware motion Human aware motion with 2 motion tasks:

• Follow the object path • Look to the object

Page 19: · PDF fileÉtude et development d'un manipulateur mobile à deux bras pour l'assistance aux personnes handicapées. LAAS LIRMM Montpellier LISIF Ivry sur seine
Page 20: · PDF fileÉtude et development d'un manipulateur mobile à deux bras pour l'assistance aux personnes handicapées. LAAS LIRMM Montpellier LISIF Ivry sur seine

développement d'un robot mobile autonome équipé de deux bras manipulateurs, système de vision

porter assistance à des personnes handicapées

tâches quotidiennes de manipulation :

- Servir un verre d'eau

- Ramasser un objet

Identification du besoin, validation

Étude et development d'un manipulateur mobile à deux bras pour l'assistance aux personnes handicapées.

LAAS LIRMM Montpellier LISIF Ivry sur seine CEA-LIST Clinique Union Mutualiste PROPARA

Page 21: · PDF fileÉtude et development d'un manipulateur mobile à deux bras pour l'assistance aux personnes handicapées. LAAS LIRMM Montpellier LISIF Ivry sur seine

•••••

•••••

Designing and developing a network of robots that in a cooperative way interact with human beings and the environment for tasks of guidance and assistance, transportation of goods and persons, and surveillance in urban areas

Page 22: · PDF fileÉtude et development d'un manipulateur mobile à deux bras pour l'assistance aux personnes handicapées. LAAS LIRMM Montpellier LISIF Ivry sur seine

Functional Layer

Supervisor / Task Allocation

Robot 1

Functional Layer

Supervisor / Task Allocation

Robot n

Ethernet

URUS Wireless network

GSM Interface

Environment Perception

Central Station

Task Allocation

GSM

Network

URUS Global Architecture

Human Supervision

ad-hoc Manet for local /real-time needs (formation ..)

Page 23: · PDF fileÉtude et development d'un manipulateur mobile à deux bras pour l'assistance aux personnes handicapées. LAAS LIRMM Montpellier LISIF Ivry sur seine

• Two methods integrated on FZI and LAAS robots for RFID-based navigation in a structured environment

• Ground-merged short range RFID-barriers: topological localization between areas

• Long range RFIDs in the environment: metrical localization from directional antennas

The FZI and LAAS robots

equipped with RFID readers

Page 24: · PDF fileÉtude et development d'un manipulateur mobile à deux bras pour l'assistance aux personnes handicapées. LAAS LIRMM Montpellier LISIF Ivry sur seine

Page 25: · PDF fileÉtude et development d'un manipulateur mobile à deux bras pour l'assistance aux personnes handicapées. LAAS LIRMM Montpellier LISIF Ivry sur seine

Aerial and Terrestrial

Multi-Robot Platform

Embedded Systems

Distributed Robotic Functions

Model Based Adaptability

Management

Cooperative Multi-Agent Systems

Distributed Autonomous Self-Adaptive Systems

Control Architectures for Multi-robot Cooperation

Page 26: · PDF fileÉtude et development d'un manipulateur mobile à deux bras pour l'assistance aux personnes handicapées. LAAS LIRMM Montpellier LISIF Ivry sur seine
Page 27: · PDF fileÉtude et development d'un manipulateur mobile à deux bras pour l'assistance aux personnes handicapées. LAAS LIRMM Montpellier LISIF Ivry sur seine

Execution Control LevelExecution Controller

Decisional LevelProceduralExecutive

(open-PRS)

Temporal PlannerTemporal Executive

(IxTeT)

Functional Level

Communication

SpeedP3D

PosPOM

PosVME

Science

Im. St.Scorrel

Camera Im.

Pos RFLEXPan-Tilt

Unit

DEM Env

GoalNAV

Aspect Obs

Laser RF

Scan

NDD Speed

•–

Execution Control LevelExecution Controller

Decisional LevelProceduralExecutive

(open-PRS)

Temporal PlannerTemporal Executive

(IxTeT)

Functional Level

Communication

SpeedNAV

PosPOM

PosTarget

Camera Im. Pos PilotePan-TiltUnit

FormationPos

cooperation

distributed task achievement

coordination

Page 28: · PDF fileÉtude et development d'un manipulateur mobile à deux bras pour l'assistance aux personnes handicapées. LAAS LIRMM Montpellier LISIF Ivry sur seine
Page 29: · PDF fileÉtude et development d'un manipulateur mobile à deux bras pour l'assistance aux personnes handicapées. LAAS LIRMM Montpellier LISIF Ivry sur seine

• Visual-based navigation taking into account obstacles, occlusions, saturations, human-robot joint motions… • Methods: task function framework, integration control-tracking, “multicriteria” analysis

and synthesis of visual servos

Page 30: · PDF fileÉtude et development d'un manipulateur mobile à deux bras pour l'assistance aux personnes handicapées. LAAS LIRMM Montpellier LISIF Ivry sur seine
Page 31: · PDF fileÉtude et development d'un manipulateur mobile à deux bras pour l'assistance aux personnes handicapées. LAAS LIRMM Montpellier LISIF Ivry sur seine

Capture de mouvement humain par vision binoculaire

Estimation des ddls pour interprétation de postures

Page 32: · PDF fileÉtude et development d'un manipulateur mobile à deux bras pour l'assistance aux personnes handicapées. LAAS LIRMM Montpellier LISIF Ivry sur seine

A Control Architecture for a Cognitive Assistant

SHARY: Supervision for a Cognitive Assistant Human Aware Task Planning

Attention Sharing

Soft Motion

Perspective Taking

Human Aware Manipulation

Human Aware Navigation

Page 33: · PDF fileÉtude et development d'un manipulateur mobile à deux bras pour l'assistance aux personnes handicapées. LAAS LIRMM Montpellier LISIF Ivry sur seine

––––

Page 34: · PDF fileÉtude et development d'un manipulateur mobile à deux bras pour l'assistance aux personnes handicapées. LAAS LIRMM Montpellier LISIF Ivry sur seine

Page 35: · PDF fileÉtude et development d'un manipulateur mobile à deux bras pour l'assistance aux personnes handicapées. LAAS LIRMM Montpellier LISIF Ivry sur seine

Sensors and devices

Fixed cameras

Environment sensors

Physiological data

Interface devices and “things”

Page 36: · PDF fileÉtude et development d'un manipulateur mobile à deux bras pour l'assistance aux personnes handicapées. LAAS LIRMM Montpellier LISIF Ivry sur seine
Page 37: · PDF fileÉtude et development d'un manipulateur mobile à deux bras pour l'assistance aux personnes handicapées. LAAS LIRMM Montpellier LISIF Ivry sur seine

Page 38: · PDF fileÉtude et development d'un manipulateur mobile à deux bras pour l'assistance aux personnes handicapées. LAAS LIRMM Montpellier LISIF Ivry sur seine

Page 39: · PDF fileÉtude et development d'un manipulateur mobile à deux bras pour l'assistance aux personnes handicapées. LAAS LIRMM Montpellier LISIF Ivry sur seine