深層学習とカラー集約画像を用いた手話認識

カテゴリ: 部門大会

論文No: OS2-5

グループ名: 【C】2022年電気学会電子・情報・システム部門大会

発行日: 2022/08/24

タイトル(英語): Sign language recognition using deep learning and color gathered images

著者名: 吉川 京汰（徳島大学）

著者名(英語): Kyota Yoshikawa (Tokushima University)

キーワード: 集約画像|深層学習|手話認識手話認識

要約(日本語): 日本で手話を利用している人は約8万人である。しかしながら、手話通訳士の資格を持つ人は2022年時点でで3931人である。故に手話通訳者の不足が問題となっている。手話を使用者にとって、公共機関や医療機関で受付担当が手話技術を有していないことは、十分なサービスを受けることができず問題である。したがって本研究では従来手法に時系列を付与し、手話通訳者を必要としない手話翻訳を目的とする。提案手法としてカラー集約画像とVGG16を使用する。カラー集約画像の作成方法としては、手話動画をフレーム化したフレーム画像に色付けを行うことで、集約した際に色を付与する。また比較実験として従来手法であるグレースケール集約画像での認識結果を使用する。また結果として、手話単語10単語における提案手法の正解率は99.5%、従来手法は95.9%であった。これにより、カラーリング処理により時系列データが付与されたと推測できる。