勾配正規化と学習率自動調整機構を伴ったミニバッチ学習アルゴリズム

カテゴリ: 部門大会

論文No: TC10-4

グループ名: 【C】平成30年電気学会電子・情報・システム部門大会プログラム

発行日: 2018/09/05

タイトル(英語): Mini-batch algorithm with gradient normalization and learning parameter adaptation

著者名: 上原 賢太(千葉大学),岡本 卓(SENSY),小圷 成一(千葉大学),下馬場 朋禄(千葉大学),伊藤 智義(千葉大学)

著者名(英語): Kenta Uehara|Takashi Okamoto|Seiichi Koakutsu|Tomoyoshi Shimobaba|Tomoyoshi Ito

キーワード: ニューラルネットワーク|畳み込みニューラルネットワーク|確率的勾配降下法確率的勾配降下法|neural network|convolutional neural network|stochastic gradient descent

要約(日本語): 近年の深層学習の普及に伴い，ニューラルネットワークの学習アルゴリズムとして優れた最適化手法の開発が求められている。とくに，深層学習では，メモリ容量と計算時間の観点から，勾配情報のみを用いた手法が盛んに研究されている。ニューラルネットワークの学習における主な障壁として，鞍点と過学習があげられる。これまでに，鞍点に対しては勾配正規化手法の，過学習に対しては正則化の有効性が確認されている。勾配正規化手法には，勾配の大きさに寄らず探索を行えるという利点があるものの，適切な学習率を選択する必要がある。本研究では，勾配正規化手法に勾配の符号変化に基づく学習率調整機構を付加した手法を提案し，加えて正則化の有効性について検証する。階層型ニューラルネットワークと畳込みニューラルネットワークの学習問題での数値実験を通して，過学習の抑制，すなわち汎化性能の精度向上を確認した。

PDFファイルサイズ: 561 Kバイト