リザバーネットワークを用いた部分観測制御タスクの強化学習

カテゴリ: 研究会(論文単位)

論文No: CT25027

グループ名: 【C】電子・情報・システム部門 制御研究会

発行日: 2025/01/04

タイトル(英語): Reinforcement learning for partially observable control tasks with reservoir network

著者名: 松木 俊貴(防衛大学校),原田 理識(防衛大学校)

著者名(英語): Toshitaka Matsuki(National Defense Academy of Japan),Risato Harada(National Defense Academy of Japan)

キーワード: 深層強化学習|ＴＤ３|リザバーネットワーク|エコーステートネットワーク|Deep reinforcement learning|TD3|Reservoir network|Echo state network

要約(日本語): 実世界での制御タスクなどでは、ノイズ等によりセンサ情報が部分観測的であることが一般的である．そのような環境での強化学習を実現するために、LSTMを用いる手法が広く研究されているが、計算資源が限られたエージェントでの利用には課題がある．そこで本研究では、計算負荷の小さい時系列処理モデルであるReservoir NetworkをTD3に組み込む手法を採用することで学習にかかる計算コストを削減できることを示す．

要約(英語): In real-world control tasks, sensor information is often partially observable due to noise and other factors. While using LSTM with reinforcement learning is widely researched to address this, their application in resource-constrained agents presents challenges. This study demonstrates that incorporating a Reservoir Network into TD3 can reduce the computational cost of learning.

本誌: 2025年1月7日-2025年1月8日制御研究会-2

本誌掲載ページ: 19-24 p

原稿種別: 日本語