手話トレーニングマシンの開発–表情判別について–

大栗 慶太郎 森 雄一郎

高知大学 理学部 応用理学科 情報科学コース

1 はじめに本研究室は手話認識装置の開発を目指しており, その

前段階として「手話トレーニングマシン」[1]を研究・開

発している. この手話トレーニングマシンは円滑なコ

ミュニケーションのための手話学習を支援する.

先行研究では手話の基本となる手指動作を対象として

きた. 2013年度の先行研究において, 手話動作判別に十

分な結果が得られたことから, 研究を次の段階に進める

ことにした.

手話は手指動作に加え, しぐさや表情などから構成さ

れる. 特に表情は重要な要素であり, 感情をはじめとし

た多くの情報を相手に伝える.

手話トレーニングマシンは日本手話を対象としている.

日本手話とは独自の文法を持っている手話の 1種である.

“日本手話のしくみ”[2]によると, 日本手話において表情

は感情表現と文法表現の 2つの大きな役割を持っている

という. 手話トレーニングマシンは将来的に文章への対

応を計画しており, 感情表現と文法表現に用いる表情が

あることにより実践的な手話の学習が可能となる.

そこで本研究は手話における表情に着目し,手話トレー

ニングマシンに表情の学習要素を取り入れる. それによ

り日常の会話で使用される手話の表現をより実践に近い

形で学ぶことが可能となる.

2 研究の目的本研究の目的は上記でも述べたように, 手話学習に表

情の要素を導入した学習環境の開発である.

本研究が位置する最初の研究段階では, 手話表情を判

別する方法の考察を行う. そこでまず表情を取得する機

能を持った既存のデバイスの評価を行うとともに, それ

らをシステムに導入することで表情判別の課題点を明ら

かにし, 手話トレーニングマシンで表情を扱う指針の提

案を行う.

3 表情の判別表情の判別には実際に学習者の表情を取得し, その表

情を詳細に解析する必要がある. 表情は無数の状態を

持っており, 判別は容易ではない.

心理学者の Paul Ekmanによると, すべての表情は基

本的な 6つの感情の組み合わせ (基本 6感情)で構成さ

れるという [3]. 基本 6感情は, 「驚き」「恐怖」「怒り」

「嫌悪」「悲しみ」「喜び」の 6つの感情から成る.

表情を 6つの感情として捉えることで, 比較的容易に

表情のモデル化が可能となる. よって本研究ではこの基

本 6感情に着目し, 表情の判別に利用する.

4 使用デバイス市販されている Intel 社製の深度センサである Re-

alSenseは標準機能を介し, 基本 6感情を値として取得

可能である (図 1).

本研究において必要な情報は感情ではなく表情であり,

開発者は RealSenseから得られる感情の情報を基に, 学

習者の表情を推測するプログラムを開発しなければなら

ない.

図 1: RealSense (左)とその取得情報例 (右)

5 システムへの実装表情を含めた手話の学習を可能にすべく, 手話トレー

ニングマシンにRealSenseを用いた表情の判別を行う機

能を実装した. 先行研究の手話動作判別プログラムを

ベースとし, プログラムに表情の判別を行う機能を追加

した. また表情のフィードバックの提供を可能とするた

め, ユーザインタフェースに変更を加えた (図 2). 表情

のフィードバックは正解の場合「よい表情です」と表示

し, 例えば喜びの感情について間違っている場合は「も

う少し喜びの感情を込めてください」と表示する.

図 2: ユーザインタフェース画面の概説

1

Technical Reports on Information and Computer Science from Kochi Vol. 8 (2016), No. 4

これにより表情を含めた学習が可能となった (図 3).

表情判別において対象とする単語は, 手話トレーニング

マシンで扱う 231単語のうち, “ひと目でわかる実用手

話辞典”[4]において特に表情が必要と明記されている 21

単語である (表 1).

開発者はRealSenseの実測値を基に表情の手本となる

教師データを作成する. 教師データには基本 6感情のう

ち変動が大きな感情を開発者が選択し, 21単語それぞれ

に一定の閾値を設定する. システムは学習者の表情と教

師データを比較し, その正誤の結果を学習者にフィード

バックする.

図 3: 表情を含めた手話学習

表 1: 対象とする単語

単語 表情

遊ぶ 楽しそうな

暖かい 暖かそうな

嬉しい 嬉しそうな

悲しい 悲しそうな

おめでとう 祝福の

嫌い 嫌な

寒い 寒そうな

涼しい 涼しそうな

迷惑 困った

本当 問いかける

秋 涼しげな

単語 表情

熱い 熱そうな

痛い 苦しそうな

おいしい 嬉しそうな

怒る 怒った

雷 驚いた・怖い

塩辛い 辛そうな

冷たい 冷たそうな

なぜ 疑問の

春 暖かそうな

まずい まずそうな

6 評価実験RealSenseの標準機能である表情解析機能は一般的な

表情を対象とした機能である. そのため多様な手話表情

にどこまで対応できるか, 評価する必要がある. よって

RealSenseを用いた表情解析の有効性の確認のため評価

実験を行った.

本研究室の学生 6名を対象とし, 被験者はユーザイン

タフェース上の説明のとおりに表情を浮かべ, 実際に手

指動作を含めた手話学習を行う. なお手話で用いられ

るような自然な表情を, 学習システムからの説明のみで

表情を出せるかも検討するため, 表情の修正は行わない.

そのため本実験の結果には学習者の表情表現の間違いも

含まれる.

実験の結果, 表情の平均正解率は 50%であった. 感情

の内訳 (表 2)について注目すると, 「喜び」の感情以外

は低い正解率が得られた. また「辛い」という単語は口

の前で手を回す動作が含まれ, その動作が顔のトラッキ

ングを妨げ, 正常な値の取得が困難となった. さらに一

部の表情はRealSenseから得られる基本 6感情の値の変

動が小さく, 判別が困難であった.

顔のトラッキングを妨げる動作を伴う表情に対しては,

顔の一部のみのトラッキングを行うなどの解決案が考え

られる. また基本 6感情の値の変動が小さな表情に対し

ては, より特徴が表れやすい眉や頬などに着目した表情

判別方法が有効ではないかと考える.

評価実験の結果から, RealSenseは一部の手話表情に

対しては有効であるが, 手話表情全般には利用は難しい

と言わざるをえない. 基本 6感情の情報のみでは詳細な

表情判別が困難であることが明らかになり, 詳細な表情

の判別には眉や頬などの顔の変化を直接観測し, それら

の情報を利用した手話表情に特化した表情判別方法の確

立が求められる.

表 2: 表情の判別結果の感情による内訳

感情 正解数 総数 正解率

怒り 2 6 33%

嫌悪 14 42 33%

恐怖 5 12 42%

喜び 37 48 77%

悲しみ 4 12 33%

驚き 9 24 38%

7 おわりに手話トレーニングマシンに表情の学習要素を導入した

ことで, 表情を含めた手話学習の環境を提案した. これ

により手話の表現をより実践に近い形で学ぶことを目

指す.

評価実験の結果より, 手話表情の判別において Re-

alSenseの標準機能では不十分であり, 有効性は低いと

考える. 詳細な手話表情の判別には, 眉や頬などの顔の

動きから表情の情報を直接取得する必要がある.

今後は, より多くの種類の手話表情取得への対応を進

めるにあたり, 表情の解析方法を含め, その手法の確立

を行っていく.

参考文献[1] Yuichiro, M., Akie, F. and Shogo, H. (2014). Develop-

ment of Sign Language Training Machine using DepthSensor. Proceedings of the 22nd International Confer-ence on Computers in Education. Japan, Asia-PacificSociety for Computers in Education pp.787-792

[2] 岡典栄・赤堀仁美 (2011).日本手話のしくみ. NPO法人バイリンガル・バイカルチュラルろう教育センター (編).大修館書店, ISBN978-4469222159

[3] Ekman, P. (1972). Universals and Cultural Differencesin Facial Expressions of Emotions.

[4] NPO手話技能検定協会 監修 (2002). ひと目でわかる実

用手話辞典. 新星出版社, ISBN978-4405050877

2