Q-learningアルゴリズムに基づくForward-Backward学習に関する検討

カテゴリ: 部門大会

論文No: TC9-2

グループ名: 【C】平成25年電気学会電子・情報・システム部門大会講演論文集

発行日: 2013/09/04

タイトル(英語): A Basic Study on Forward-Backward Learning Based on the Q-learning Algorithm

著者名: 齋藤雅矩 (神奈川大学),増田 和明(神奈川大学),瀬古沢 照治(神奈川大学)

著者名(英語): Saito Masanori(Kanagawa University),Masuda Kazuaki(Kanagawa University),Sekozawa Teruji(Kanagawa University)

キーワード: 機械学習|強化学習|Q学習|高速化|適格度トレースQ(λ)|machine learning|reinforcement learning|Q-learning|acceleration|eligibility traceQ(lambda)

要約(日本語): Q-learningは，エージェントが報酬の獲得を通して現在の状態とその状態においてとり得る行動に対する状態行動価値関数（Q値）を増やし，初期状態（スタート）から目標とする状態（ゴール）に到達するための方策を確率的に学習するアルゴリズムである。しかし，Q-learningは正の報酬を与える状態を発見するまでQ値が増加せず，そのために最適な方策を効率よく探索できないため，学習が遅いことが問題視されている。
そこで，「学習者が一度でも正の報酬を獲得したら，その報酬を与える状態をゴールと認識できる」ことを想定し，ゴールからスタートへ向かう逆向きの探索を付加的に行い，正の報酬を源とするQ値の増加を促進することを考える。
本論文では，上記の概念を取り入れたFW-BW（forward-backward）型Q-learningを提案し，数値実験を通して提案手法の有効性を調べる。

PDFファイルサイズ: 6,403 Kバイト