探索の役割分担の概念を導入した経験共有マルチエージェント強化学習システム

カテゴリ: 部門大会

論文No: TC16-6

グループ名: 【C】平成30年電気学会電子・情報・システム部門大会プログラム

発行日: 2018/09/05

タイトル(英語): Parallel Reinforcement Learning with Allocation of Roles between Exploration Agents

著者名: 舘山 武史(愛知工科大学)

著者名(英語): Takeshi Tateyama()

キーワード: 並列強化学習|マルチエージェント|探索|報酬獲得|Q学習k-確実探査砲|parallel reinforcement learning|multi-agent|exploration|exploitation|Q-learningk-certainty exploration method

要約(日本語): 強化学習は，タスクによっては学習が収束するまでに膨大な試行が必要であることが問題点として指摘されている。著者らは，経験共有を導入したマルチエージェント強化学習システムにおいて，「探索に集中するエージェント」と「報酬獲得に集中するエージェント」の2種類のエージェントを設定することにより，学習の高速化および最適解獲得の確率の向上を実現する手法を提案した。しかし，本手法では複数のエージェントが同一の未探索状態を同時刻に遷移目標状態とする可能性があり，同時刻の探索行動の重複が生じ，結果としてシステム全体の探索効率悪化の原因となる可能性がある。本論文では，より大規模な環境において効率的な強化学習を可能とすることを目的として，個々のエージェントにそれぞれ異なる「優先的に探索すべき状態」をあらかじめ指定する手法を提案し，探索行動の重複を減少させ，より効率的な探索および強化学習の高速化の実現を試みる。

PDFファイルサイズ: 1,032 Kバイト