PILCOにおけるカーネル関数の変更による予測精度の向上

カテゴリ: 研究会(論文単位)

論文No: ST23030,CT23093

グループ名: 【C】電子・情報・システム部門 システム/【C】電子・情報・システム部門 制御合同研究会

発行日: 2023/11/29

タイトル(英語): Improving Prediction Accuracy by Modifying Kernel Functions in PILCO

著者名: 加藤 鳳人(愛知県立大学),小林 邦和(愛知県立大学)

著者名(英語): Kato Takato(Aichi Prefectural University),Kobayashi Kunikazu(Aichi Prefectural University)

キーワード: モデルベース強化学習|ＰＩＬＣＯ|状態遷移モデル|カーネル関数|マルコフ連鎖モンテカルロ法|Ｍｏｕｎｔａｉｎ　Ｃａｒ　Ｃｏｎｔｉｎｕｏｕｓ|Model-based reinforcement learning|PILCO|State transition model|Kernel function|Markov chain Monte Carlo method|Mountain Car Continuous

要約(日本語): モデルベース強化学習は，深層強化学習と異なり，訓練のために膨大なデータを必要としない．しかし，状態遷移モデルの訓練には，ある程度のデータが必要となるので，ガウス過程を用いてさらに少ないデータで状態遷移モデルを近似するPILCOが提案されている. しかし, PILCO はガウス過程回帰の出力の期待値を求める必要があり, カーネル関数を変更するたびに期待値を解析的に求めなければならず，カーネル関数の変更が容易ではない. 本研究では，この問題を解決し, PILCOのカーネル関数の変更を容易にすることで予測精度を向上させることを目的とする.

要約(英語): Model-based reinforcement learning, in contrast to deep reinforcement learning, does not require large amount of data for training._x000D_ However, training state-transition models requires a certain amount of data, so PILCO has been proposed to approximate state-transition models with even less data by using Gaussian processes. However, PILCO needs to obtain the expected value of the output of the Gaussian process regression. Then, the expectation must be obtained analytically each time the kernel function is changed, which makes changing the kernel function not easy. The present research aims to solve this issue and improve the predictive accuracy by facilitating the modification of the kernel-function of PILCO.

本誌: 2023年12月2日-2023年12月3日システム/制御合同研究会

本誌掲載ページ: 1-6 p

原稿種別: 日本語

PDFファイルサイズ: 1,110 Kバイト