転移学習と知識蒸留による少数学習データのためのDNN学習法

カテゴリ: 論文誌(論文単位)

グループ名: 【C】電子・情報・システム部門

発行日: 2020/06/01

タイトル(英語): The DNN Learning Method for Few Training Data via Knowledge Transfer

著者名: 二垣　良知（大阪府立大学大学院 工学研究科），井上　勝文（大阪府立大学大学院 工学研究科），吉岡　理文（大阪府立大学大学院 工学研究科）

著者名(英語): Yoshikazu Nigaki (Osaka Prefecture University), Katsufumi Inoue (Osaka Prefecture University), Michifumi Yoshioka (Osaka Prefecture University)

キーワード: ニューラルネットワーク，転移学習，モデル圧縮，知識蒸留　　deep neural network，transfer learning，model compression，knowledge distillation

要約(英語): Deep Neural Network (DNN) models have a great deal of parameters. It allows DNN to obtain good performance, however it also causes some problems. The first one is that learning of huge parameters requires enormous learning data for training DNN. The second one is that high-spec devices are requested because learning of huge parameters is computational complexity. These problems prevent the installation of DNN for any real tasks. To solve these problems, we propose a new learning method of DNN by combining transfer learning and knowledge distillation. The characteristic point of our proposed method is that we learn the DNN parameters by applying the techniques mentioned above simultaneously, i.e., we transfer the feature map of teacher DNN to student DNN, which is smaller than teacher DNN.

本誌: 電気学会論文誌C（電子・情報・システム部門誌） Vol.140 No.6 （2020） 特集：来るべきIoT社会に向けた情報通信技術

本誌掲載ページ: 664-672 p

原稿種別: 論文／日本語

電子版へのリンク: https://www.jstage.jst.go.jp/article/ieejeiss/140/6/140_664/_article/-char/ja/