Direct Feedback Alignment学習を行うニューラルネットワークのディジタル回路実装とMNIST手書き数字分類への適用

カテゴリ: 部門大会

論文No: TC12-1

グループ名: 【C】2023年電気学会電子・情報・システム部門大会

発行日: 2023/08/23

タイトル(英語): Digital Circuit Implementation of a Neural Network with Direct Feedback Alignment as Learning and Its Application to MNIST Handwritten Digit Classification

著者名: 羽田野 武蔵（九州大学）,村上 秀樹（久留米工業高等専門学校）,野村 修（九州工業大学）,森江 隆（九州工業大学）

著者名(英語): Musashi Hadano (Kyushu University),Hideki Murakami (National Institute of Technology, Kurume College),Osamu Nomura (Kyushu Institute of Technology),Takashi Morie (Kyushu Institute of Technology)

キーワード: 人工知能|ニューラルネットワーク|学習アルゴリズム|ディジタル回路|DFA手書き数字認識（MNIST）|Artificial Intelligence|neural network|learning algorithm|digital circuit|Direct Feedback Alignmenthandwritten number recognition (MNIST)

要約(日本語): Direct Feedback Aliment（DFA）学習を行うニューラルネットワーク（NN）のディジタル回路を設計した。高効率なディジタル回路実装のために，４層フィードフォワードNNにおいてDFAを整数演算のみを用いてソフトウェア実装し，17ビットの演算精度が必要であることを明らかにした。これに基づいて，MNIST手書き数字認識の学習・推論を実行した結果，認識精度が96.15%であり，十分高い精度で学習できることが確認できた。この結果を踏まえて，Verilog HDLで回路記述し，DFAの論理シミュレーションを行った結果，すべての荷重値がソフトウェア実装結果と完全に一致することを確認した。手書き数字画像1枚の学習に要するクロック数を誤差逆伝播法と比較した結果，DFAの方が約100クロック低減できることがわかった。この結果から，DNNなどの層数が多いネットワークに応用した場合では，DFAのより優位になることが期待できることがわかった。