カラーと距離情報を用いたマルチモーダルCNNによる指文字認識に関する研究

カテゴリ: 研究会(論文単位)

論文No: IS21007

グループ名: 【C】電子・情報・システム部門 情報システム研究会

発行日: 2021/03/07

タイトル(英語): Fingerspelling recognition using both color and depth images by Multi Modal Convolutional Neural Network (MMCNN)

著者名: 山本 祥貴(大阪産業大学),熊澤 宏之(大阪産業大学)

著者名(英語): Yoshitaka Yamamoto(Osaka Sangyo University),Hiroyuki Kumazawa(Osaka Sangyo University)

キーワード: 指文字|畳み込みニューラルネットワーク|マルチモーダル|自動翻訳|Fingerspelling|Convolutional neural network|Multi -modal|Automatic translation

要約(日本語): 本研究では、指文字の自動翻訳を目的にRGB-Dカメラとマルチモーダル畳み込みニューラルネットワーク（MMCNN）を使い、カラー画像とデプス画像の両方を用いた指文字認識の手法を提案する。提案手法では、デプス画像の前処理として、距離の正規化と1m以上の背景除去の2つの処理を行う。実験の結果、提案手法による認識率は前処理なしの場合やどちらか片方の処理を行った場合と比べて上回る結果となることが分かった。

要約(英語): In this study, we propose a method for fingerspelling recognition using both color and depth images by using an RGB-D camera and a Multi Modal Convolutional Neural Network (MMCNN) for automatic fingerspelling translation. In the proposed method, two pre-processing steps are performed on the depth image: distance normalization and background removal more than 1 meter from the camera. Experimental results show that the recognition rate of the proposed method outperforms that of the method without preprocessing or with either of the two preprocessing methods.

本誌: 2021年3月10日―2021年3月11日情報システム研究会

本誌掲載ページ: 33-37 p

原稿種別: 日本語

PDFファイルサイズ: 1,606 Kバイト