合成画像と深層学習を用いた手話認識手法の検討について

カテゴリ: 研究会(論文単位)

論文No: IIC23010

グループ名: 【D】産業応用部門 産業計測制御研究会

発行日: 2023/08/07

タイトル(英語): A study of sign language recognition methods using synthetic images and deep learning

著者名: 吉川 京汰(徳島大学),伊藤 伸一(徳島大学),伊藤 桃代(徳島大学),福見 稔(徳島大学)

著者名(英語): Kyota Yoshikawa(Tokushima University),Shin-ichi Ito(Tokushima University),Momoyo Ito(Tokushima University),Minoru Fukumi(Tokushima University)

キーワード: 合成画像|集約画像|深層学習|手話認識|カラーリング|可視化|Synthetic Image|Gathered Image|Deep learning|Sign language recognition|Coloring|Visualization

要約(日本語): 手話認識には手や腕の形、手の動かし方の順序を正確に判断する必要がある。本研究では、画像ベースで手話認識を行う。この際、手話動画をフレーム画像に分け、動きをフレーム間の差分で抽出する。また本研究では、指や腕の形を区別するために、手話動画における最後のフレーム画像をベースに抽出した動きをカラーリングで表現した合成画像を作成した。最後に、作成した合成画像を深層学習であるVGG16 で学習し認識を行った。

要約(英語): This paper proposes a method to classify Japanese sign language words. In the proposed method, the sign language video is divided into frame images. Then the motion is extracted by the difference between frames. To distinguish the shape of fingers and arms, a composite image is created by coloring the extracted motion based on the last frame image in the sign language video. In addition, training and recognition were performed with VGG16.

本誌: 2023年8月10日産業計測制御研究会

本誌掲載ページ: 27-31 p

原稿種別: 日本語

PDFファイルサイズ: 1,182 Kバイト