GAによる強い宝くじ仮説に基づいたNNの枝刈りに関する実験的考察

カテゴリ: 部門大会

論文No: TC7-2

グループ名: 【C】2021年電気学会電子・情報・システム部門大会

発行日: 2021/09/08

タイトル(英語): An experimental study on proving based on the strong lottery ticket hypothesis by using GA

著者名: 松本 稔（徳島大学）,永田 裕一（徳島大学）

著者名(英語): Minoru Matsumoto (Tokushima University),Yuichi Nagata (Tokushima University)

キーワード: 枝刈り|宝くじ仮説|遺伝的アルゴリズム|ニューラルネットワーク|proving|lottery ticket hypothesis|genetic algorithm|neural network

要約(日本語): 宝くじ仮説は，巨大なニューラルネットワーク(NN)には，単独な学習で，それと同イテレーション数学習を行った元のNNの能力に匹敵する部分ネットワークが存在する，という仮説である．さらに最近，それよりも強い宝くじ仮説が証明された．その仮説では，ランダムに初期化された巨大なNNには，学習を行わなくとも，十分に訓練された大きなNNに匹敵する部分ネットワークが存在することを確率的に保証している．これに基づけば，勾配計算を用いることなく，枝刈りベース，つまり，NNの枝を刈るか，刈らないかを決める組み合わせ最適化手法を用いて，NNを学習することが可能である．そこで本研究では，ロボット制御において，初歩的な遺伝的アルゴリズムを用いても，NNの学習が十分に可能であることを，勾配ベースの強化学習手法との比較を行い，実験的に確認する．

PDFファイルサイズ: 245 Kバイト