動的環境におけるエントロピー駆動型強化学習 適応的状態空間構成による接近

カテゴリ: 部門大会

論文No: TC9-1

グループ名: 【C】平成25年電気学会電子・情報・システム部門大会講演論文集

発行日: 2013/09/04

タイトル(英語): Entropy-guided Renforcement Learning for Dynamic Environments - Approach by Adaptive State Space Construction

著者名: 永吉 雅人(新潟県立看護大学),村尾 元(神戸大学),玉置 久(神戸大学)

著者名(英語): Masato Nagayoshi(Niigata College of Nursing),Hajime Murao(Kobe University),Hisashi Tamaki(Kobe University)

キーワード: 強化学習|動的環境|環境変化検出|適応的状態空間構成|環境変化の発生時期エントロピー|reinforcement learning|dynamic environment|detection of environmental change|adaptive state space construction|timing of the appearance of environmental changesentropy

要約(日本語): 近年，強化学習をエージェントの制御規則の適応的調節・獲得などに応用しようとする試みが盛んであるが，実用性といった観点から，動的環境への適応能力が問題点の一つとなっている．この点に留意し筆者らは，強化学習における動的環境の問題クラスを整理し，環境変化検出法を提案している．さらに筆者らはこれまで，状態空間を予め適切に設計することが難しいという問題に留意し，適応的状態空間構成法を提案している．しかしながら，この方法は学習回数の十分性を評価するパラメータを必要としており，その設定に課題が残されていた．本稿では，上記構成法について学習回数のパラメータに代わりエンロピーを用いた指標を導入し，それと環境変化検出法を組合せた，エンロピー駆動型強化学習法を提案する．さらに，連続状態空間からなる動的経路計画問題を対象として，環境変化時における提案手法の有効性について検討する．

PDFファイルサイズ: 5,439 Kバイト