User-Defined Gesture !for!

Flying ObjectWei-Hsuan Huang !

!!

Motivation

• UAV is becoming more prevalent

• Interaction is always for mobile but gesture

• Not surface gesture, it’s in-air

Target

• Our results will help designers create better gesture sets informed by user behavior.

• Better gesture means the learning curve of gesture will obviously lower than mobile’s or other controllers’

• Users prefer gesture to using controller

Related Work

• User-Defined Gestures for Surface Computing

• Taxonomy of Gesture in Human Computer Interaction

• Exploring 3D Gesture Metaphors for Interaction with Unmanned Aerial Vehicles

User Study

• User Study 1 (User-Defined)

• User Study 2 (User-Selected)

User Study 1Done

Introducing User Study 1

Introducing User Study 1

• Questionnaire group

• Displacement

• Application

• Combination

Displacement

• 起飛＆降落

• 上＆下＆左＆右＆前＆後

• 左旋轉＆右旋轉

• 定點到定點

Application

• 對⾃自⼰己照相

• 對⾃自⼰己錄影

• 對⾃自⼰己連拍

• 選取＆跟隨

Combination

• 調整移動速度

• 邊移動邊旋轉

• 跟隨他⼈人拍照錄影

Introducing User Study 1

• Gesture & Mobile control experience comparison

Counter Balance

Gesture first

Mobile first

Displacement first

Function first

慣⽤用⼿手⻝⾷食指指頭⽅方向(無擺動)慣⽤用⼿手開掌掌⼼心朝向⽅方向(無擺動)雙⼿手看似拿著飛⾏行器駕著往上雙⼿手握拳，雙⼿手往上慣⽤用⼿手⻝⾷食指伸直，⼿手臂的⽅方向為上下左右慣⽤用⼿手⼿手開掌掌⼼心向前，⼿手臂伸直，⼿手臂往上下左右

Result of User Study 1

慣⽤用⼿手⻝⾷食指指頭⽅方向(無擺動)慣⽤用⼿手開掌掌⼼心朝向⽅方向(無擺動)雙⼿手看似拿著飛⾏行器駕著往上雙⼿手握拳，雙⼿手往上慣⽤用⼿手⻝⾷食指伸直，⼿手臂的⽅方向為上下左右慣⽤用⼿手⼿手開掌掌⼼心向前，⼿手臂伸直，⼿手臂往上下左右雙⼿手握拳，向左（右）轉⾝身

Result of User Study 1

慣⽤用⼿手四指頭⽐比⽅方向(無擺動)慣⽤用⼿手開掌掌⼼心朝向⽅方向(無擺動)雙⼿手推出樣（向⾃自⼰己遠離)雙⼿手握拳，雙⼿手往前慣⽤用⼿手⻝⾷食指指向⽅方向

Result of User Study 1

慣⽤用⼿手四指頭⽐比⽅方向(無擺動)慣⽤用⼿手開掌掌⼼心朝向⽅方向+轉⾝身(無擺動)雙⼿手擁抱樣（向⾃自⼰己靠近）慣⽤用⼿手⼿手掌⽅方向，⼿手臂靠近⾃自⼰己雙⼿手握拳，雙⼿手靠近⾝身體慣⽤用⼿手拇指指向左⼿手開掌掌⼼心向前，⼿手肘會折起表⽰示往後

Result of User Study 1

慣⽤用⼿手⼿手掌開、朝下慣⽤用⼿手⻝⾷食指朝上，⼿手腕旋轉⻝⾷食指向上指，⼿手肘旋轉慣⽤用⼿手指向下利⽤用⼿手腕畫⼩小圓弧慣⽤用⼿手拿球樣旋轉慣⽤用⼿手握拳⼿手腕旋轉兩⼿手⼿手掌相向，類似旋轉球體慣⽤用⼿手開掌⼿手肘旋轉慣⽤用⼿手開掌⼿手指向上，⼿手腕旋轉左⼿手往左撥動（像是撥動⼀一顆球體）雙⼿手開掌相向，⼀一⼿手較⾼高⼀一⼿手較低

Result of User Study 1

左⼿手指尖垂直接觸右⼿手掌⼼心拍⼿手握拳開掌向前右⼿手拳頭，左⼿手開掌掌⼼心朝上，右⼿手打向左⼿手⼈人不動就停⽌止右⼿手拇指彎曲，另外四指朝上，⼿手軸由⽔水平往上變鉛直

Result of User Study 1

Result & Insight

• 10 males, 6 females

• Age range from 19 to 25

• Interesting findings

• absolute position

• people prefer gesture to mobile control

Next Step User Study 2

Introducing User Study 2

• Watch video of Gesture set

• Let users select their preferred gestures

• Let users experience gesture & mobile control

• Use Kinect v2 to implement system

• Calculate completion time and learning curve

Q&A

可能碰到的Q&A• 為什麼要⽤用Kinect？

• 因為使⽤用Kinect最無拘無束，不需要額外加裝sensor，若是⼿手上裝了東⻄西便會感到不是那麼舒適，若使⽤用Leap Motion範圍⼜又太⼩小，反⽽而會影響使⽤用者⾃自定義的⼿手勢

• 為什麼要有拍照的功能？

• 因為現在⼤大部分的飛⾏行器都會搭配Camera，常⽤用的功能也都是攝影，⽽而這篇重點是如何跟Flying Object互動，⽽而不是Flying Object可以做什麼，關於這個問題，未來可以⽤用另⼀一個題⺫⽬目來⼀一併討論打燈光，放⾳音樂甚⾄至其他更潮的功能

• 為什麼要有定點到定點這個⼿手勢？ • 我們認為這是未來⼀一定會使⽤用到的功能，⼈人們⼀一定會希望直接指定某個絕對位置讓飛⾏行器移過去，⽽而不是⾃自⼰己慢慢的微調到某個位置，也因為之前沒有⼈人探討過3D空間⽤用⼿手勢指定絕對位置過

可能碰到的Q&A• 為什麼會有選取？ • 我們認為上述功能預設都屬於對控制者本⾝身，但如果應⽤用上需要對其他物體做應⽤用的話，會需要這種功能，故放進Task看受試者的反應

• 為什麼要討論in-air的⼿手勢？

• 因為我們認為in-air的⼿手勢是always available的，我們很容易可以伸出⼿手來操作，無需其他物件

• 為什麼要分Study1 & 2？

• 就像Steve Jobs講的，使⽤用者⾃自⼰己常常不知道什麼是最好的，直到你拿給他們看，所以我們讓Study1的使⽤用者發想，Study2的使⽤用者選擇，兩群使⽤用者不重複