learning human body movement...learning human body movement seminar „neueste trends in big data...

Click here to load reader

Post on 07-Jul-2020

14 views

Category:

Documents

0 download

Embed Size (px)

TRANSCRIPT

  • LearningHumanBodyMovement

    Seminar„NeuesteTrendsinBigDataAnalytics“Betreuer:ChristianHovy

    LennartKordt22.Januar2018

  • /25

    Gliederung

    1. Motivation2. RückblickaufMachine Learning3. Terminologie4. Überblick5. AufbaudesDatensets6. HerleitungderPolicy7. Limitationen8. BerühmteBeispiele9. Quellen

    2LennartKordt

  • /25

    1.Motivation

    GrundsätzlichesZiel:DemRoboterBewegungenbeibringen,OHNEprogrammierenzumüssen

    VereinfachteNutzungderRoboterfüralltäglicheProbleme

    `Programmierung`desRobotersdurcherfolgreichesVorführenderAufgabe

    BeiFehlerninderAusführungkeineprofessionelleHilfenotwendig

    3LennartKordt

  • /25

    2.RückblickaufMachine Learning

    • Definition:• “Thefield ofmachine learning is concerned withthequestion ofhow toconstruct computer programs that automatically improvewithexperience.”[Machine Learning,TomMitchell,McGrawHill,1997]

    4LennartKordt

  • /25

    2.RückblickaufMachine Learning

    Quelle:TrainingandInferenceofNNs,Nvidia Corporation

    5LennartKordt

  • /25

    3.Terminologie

    • LfD:LearningfromDemonstration• D:Demonstration• S:state (unbekannterZustand)• Z:observed state• A:action (anwendbaraufZ)• M:mapping• M:SZ

    • 𝜋: policy• 𝜋: ZA

    6LennartKordt

  • /25

    4.Überblick

    DemonstrationdesLehrers

    PolicyHerleitung

    D

    𝜋

    worldA

    Z

    Vgl.:B.D.Argall,etal.,Asurvey ofrobot learning from demonstration,Robotics andAutonomous Systems(2009)

    7LennartKordt

  • /25

    5.AufbaudesDatensets5.1.Allgemeines5.2.Record &EmbodimentMapping5.3.Demonstrationvs.Imitation5.4.Teleoperation5.5.Shadowing5.6.SensorsonTeacher5.7.External Observation

    8LennartKordt

  • /25

    5.1.AllgemeineszumAufbaudesDatensets

    • StruktureinesA-S-Paares(Action-State)• MöglichkeitenderDatenaufnahme:• SensorenaufRoboteroderaufLehrer• SpeicherungderBewegungenbeiFührungdurchLehrer• KameraaufnahmendesRoboters

    • Demonstrationstechniken:• Batchlearning• Interactiveapproaches

    9LennartKordt

  • /25

    RecordMapping• AusführungdesLehrers

    • AufgezeichneteAusführung• AufzeichnungfremderDaten• Überprüfungobdieexaktenstates/actions desLehrersmitdenaufgezeichnetenAusführungenübereinstimmen

    EmbodimentMapping• AufgezeichneteAusführung

    • Schüler• AufzeichnungeigenerDaten• ÜberprüfungobdieaufgezeichneteAusführungmitdererwartetenAusführungübereinstimmt

    5.2.Record &Embodiment Mapping

    10LennartKordt

  • /25

    5.3.Demonstrationvs.ImitationDatenquelle

    Demonstration Imitation

    Teleoperation Shadowing SensorsonTeacherExternal

    ObservationVgl.:B.D.Argall,etal.,Asurvey ofrobot learning from demonstration,Robotics andAutonomous Systems(2009)

    11LennartKordt

  • /25

    5.4.Teleoperation

    • “ArbeitenaufDistanz“

    • RoboterwirdvonLehrergesteuert• AufzeichnungderDatenübereigeneSensoren• SteuerungüberJoystick• Sprachsteuerung• FührungdesRobotersdurchdieBewegungen

    DirektesRecordMapping

    12LennartKordt

  • /25

    5.5.Shadowing

    • SimultaneNachahmungderBewegungendesLehrersdurchRoboter

    • AufnahmederDatenübereigeneSensoren

    • ZusätzlicherAlgorithmuszuraktivenAufzeichnungundReproduktionderDatennotwendig

    IndirektesRecordMapping

    13LennartKordt

  • /25

    5.6.SensorsonTeacher

    • SensorendirektaufdemausführendenObjekt

    • PräziseAufzeichnungderausgeführtenAktion

    • Sensorensehrspeziell

    • KeinevielfältigeEinsatzmöglichkeiteinesSensors

    14LennartKordt

  • /25

    5.7.External Observation

    • KeineSensorenaufdemvorführendenObjekt

    • SichtvonaußenaufVorführung

    • TypischerweisedurchKamerasdirektaufdemKörperdesRoboters

    • MöglichkeitzurVerbindungvonSensorsonTeacher undExternalObservationbestehtundwirdhäufigangewandt

    15LennartKordt

  • /25

    6.Policy Herleitung6.1.MappingFunction6.2.SystemModel6.3.Plans

    16LennartKordt

  • /25

    6.1.MappingFunction

    • DemonstrierteDatenwerdendirektgenutztumaufdenObservedState(Z)anwendbareAktionen(A)abzuleiten

    • Ziel:• ReproduktionderzugrundeliegendenzuerstnochunbekanntenPolicy desLehrers• GeneralisierungderdurchTrainingerworbenenDaten• MöglichkeitauchfürunbekannteZuständeeinegültigeLösungzufinden

    17LennartKordt

  • /25

    6.2.SystemModel

    • NutzenderdemonstriertenDatenumdieDynamikenderWeltundeinemöglicheReward-Funktionzuerstellen

    • AbleitungderPolicy ausdiesemModelldurchReinforcementLearning• MaschinellesLernen,beidemdieMaschineselbstständigeineStrategieentwickelt,umerhalteneBelohnungzumaximieren

    18LennartKordt

  • /25

    6.3.Plans

    • NutzungderdemonstriertenDatenumRegelnüberAuswirkungenderAktionenabzuleiten

    • AbbildungderAktionenüber• Pre-Conditions:Zustand,dererreichtseinmuss,umdiegewünschteAktionausführenzukönnen• Post-Condition:Zustand,derdurchdieAusführungderAktionerreichtwerdensoll

    • Rückwärtsplanen19LennartKordt

  • /25

    7.Limitationen

    • LfD-SystemesindvonNaturausmitderimDatasetdemonstriertenInformationverlinkt

    • PerformancedesLerners/RobotersistüberdieQualitätdieserInformationenlimitiert

    • Undemonstrated state orPoorquality data

    20LennartKordt

  • /25

    7.ÜberwältigungderLimitationen

    • Underdemonstrated state• GeneralisierungvonbestehendenDemonstrationen• NeuerlicheDemonstrationendurchführen

    • Poordata quality• SchlechteDemonstrationenausdemSpeicherlöschen• AusErfahrungenlernen

    21LennartKordt

  • /25

    8.BerühmteBeispiele8.1.HondasAsimo8.2.Atlasby BostonDynamics

    22LennartKordt

  • /25

    8.1.HondasAsimo

    1986:EO,ersterlauffähigerRobotervonHonda1988:E2,Geschwindigkeit1,2km/h+FähigkeitTreppenzusteigen1993:P1,Prototyphumanoider Roboter(Torso193cmgroß)1996:P2,182cm,210kg1997:P3,160cm,130kg,Geschwindigkeit2km/h2000:Asimo,120cm,52kg2014:EntwicklungvonAsimo weitfortgeschritten:FähigkeitFußballzuspielen2017:Geschwindigkeit:9km/hhttps://youtu.be/fQ3EHtEl_NY

    23LennartKordt

  • /25

    8.2.AtlasbyBostonDynamics

    • Größe:1,5m• Gewicht:75kg• Nutzlast:11kg• Power:Batterie• Antrieb:hydraulisch• https://youtu.be/SD6Okylclb8• https://youtu.be/rVlhMGQgDkY• https://youtu.be/fRj34o4hN4I

    24

    https://de.wikipedia.org/wiki/Atlas_(Roboter)#/media/File:Atlas_from_boston_dynamics.jpg

    LennartKordt

  • /25

    9.Quellen• B.D.Argall,etal.,Asurvey ofrobot learning fromdemonstration,Robotics andAutonomousSystems(2009)

    • BarisAkgun,etal.,Keyframe-based Learningfrom DemonstrationMethod andEvaluation• AudeBillardandDanielGrollman (2013),Scholarpedia,8(12):3824.• https://www.bostondynamics.com/atlas• https://koroibot-motion-database.humanoids.kit.edu/list/motions/• http://rll.berkeley.edu/deeprlcourse/• StefanSchaal,LearningFrom Demonstration• A.Billard,S.Calinon,R.Dillmann,andS.Schaal,“Robotprogrammingbydemonstration,”inSpringerhandbookofrobotics.Springer,2008,pp.1371–1394.

    • Jangwon Lee,Asurvey ofrobot learning fromdemonstrations forHuman-RobotCollaboration(2017)

    • TrainingandInferenceofNNs,NvidiaCorporation• https://de.wikipedia.org/wiki/Atlas_(Roboter)#/media/File:Atlas_from_boston_dynamics.jpg• https://www.forbes.com/sites/aarontilley/2017/09/19/ai-startup-invents-trick-for-robots-to-more-efficiently-teach-themselves-complex-tasks/#17b0cd2a15fe

    • http://asimo.honda.com/downloads/pdf/asimo-technical-information.pdf25LennartKordt