不完全知覚状態をサブゴールとする階層型強化学習

カテゴリ: 部門大会

論文No: TC12-3

グループ名: 【C】平成27年電気学会電子・情報・システム部門大会講演論文集

発行日: 2015/08/27

タイトル(英語): Hierarchical reinforcement learning considering the perceptual aliasing states as the subgoals

著者名: 濱上 知樹(横浜国立大学)

著者名(英語): Tomoki Hamagami(Yokohama National University)

キーワード: 強化学習|不完全知覚|サブゴールサブゴール|reinforcement learning|perceptual aliasing|subgoal

要約(日本語): 環境中に存在する複数の不完全知覚状態に基づき問題を適切に分割する階層型強化学習を提案する。まず，不完全知覚状態の影響を受けている観測の検出をエージェントの経験から得られた情報量エントロピによって行う。その後，検出した不完全知覚状態において行動価値の複素化することにより，不完全知覚状態にあってもその状態に応じた適切な行動価値を学習する。さらに，不完全知覚を検出することにより不完全知覚状態をサブゴールとする階層型強化学習手法を提案する。実験の結果，情報量エントロピを用いて不完全知覚の影響を受けている観測が検出可能であること，価値の複素化により不完全知覚状態での行動の改善が見られ，ゴール到達までのステップ数の向上が見られること，環境の階層化によってより規模の大きな環境においても学習が可能であることが確認された。

PDFファイルサイズ: 749 Kバイト