ResNetの学習過程のネットワークレベルでの可視化

カテゴリ: 部門大会

論文No: MC3-7

グループ名: 【C】2024年電気学会電子・情報・システム部門大会

発行日: 2024/08/28

タイトル(英語): Visualization of the Learning Process of Deep Residual Networks

著者名: 平岩 佳大（近畿大学）,弓削 良道（近畿大学）,篠崎 隆志（近畿大学）

著者名(英語): Keita Hiraiwa (Kindai University),Ryoudou Yuge (Kindai University),Takashi Shinozaki (Kindai University)

キーワード: 深層学習|ディープラーニング|ダイナミクス|可視化

要約(日本語): Residual Network (ResNet)の高性能を支えるのはその名の通りResidual，残差で，Skip Connectionと呼ばれる分岐構造によって，層による処理を行っていない入力信号を出力信号にそのまま加算して出力している．Skip Connectionは近年画期的な進歩を遂げている大規模言語モデル (Large Language Model, LLM)においても，その基本構造であるTransformerで用いられており，深層学習における最大の発明の一つであるとも言えるが，その学習過程の詳細は十分に明らかになっていない．そこで本研究ではResNetの学習過程をネットワーク全体のレベルで可視化することによって，深層ニューラルネットワークにおける学習過程を明らかにする．これによってSkip Connectionが学習のダイナミクスに及ぼす影響を明らかにするとともに，より効率的なネットワーク構造設計のための知見の獲得を目指す．