Leap Motionを用いた深層学習による日本手話識別

カテゴリ: 部門大会

論文No: GS7-7

グループ名: 【C】2022年電気学会電子・情報・システム部門大会

発行日: 2022/08/24

タイトル(英語): Japanese Sign Language Identification Using Deep Learning with Leap Motion

著者名: 田洞 真奈（徳島大学）,伊藤 伸一（徳島大学）,伊藤 桃代（徳島大学）,福見 稔（徳島大学）

著者名(英語): Mana Tahora (Tokushima University),Shinichi Ito (Tokushima University),Momoyo Ito (Tokushima University),Minoru Hukumi (Tokushima University)

要約(日本語): 現在、日本では国民のおよそ7.4％が障害を有しており、その中で聴覚・言語に苦しむ人は7.9%存在している。彼らと健聴者とのコミュニケーションには課題があり、円滑に会話する手段が必要だと考えた。聴覚障害者同士は手話を用いているが、健聴者が手話を学習することは容易ではない。そこで、手話の自動翻訳システムが課題解決に貢献すると考えられる。手話の中でも、手指の動きと表情を用いて表現され、独自の文法体系をもつ日本手話を識別する。データは、周りの環境に影響されにくく、細かい手指の動きを取得できるLeap Motionで手指の動きを取得し、表情は単眼カメラを用いて取得する。近年、深層学習などの機械学習を用いて、手話の動作識別をおこなう研究が行われている。筆者らは、手指のみの動きの取得をおこなっている。本論文では、手指の動きと表情をそれぞれ違うネットワークに入力し、最後に結合することで、日本手話を識別する方法を提案する。