Unity・ML-Agentsを用いたリアリティギャップ問題の解消にむけた3自由度ロボットアームの強化学習

カテゴリ: 部門大会

論文No: MC6-2

グループ名: 【C】2022年電気学会電子・情報・システム部門大会

発行日: 2022/08/24

タイトル(英語): Reinforcement Learning for a 3-DOF Robot Arm to Solve the Reality Gap Problem Using Unity and ML-Agents

著者名: 山下 樹（富山大学）,松村 嘉之（富山大学）,関本 昌紘（富山大学）,木下 功士（富山大学）

著者名(英語): Tatsuki Yamashita (University of Toyama),Yoshiyuki Matsumura (University of Toyama),Masahiro Sekimoto (University of Toyama),Koji Kinoshita (University of Toyama)

キーワード: リアリティギャップ|強化学習|Unity|ML-Agents|ロボットアームデジタルツイン|Reality Gap|Reinforcement Learning|Unity|ML-Agents|Robot ArmDigital Twin

要約(日本語): 昨今工場の自動化や生産効率向上が問題になっており，あらゆる環境に対応するためロボットの制御に機械学習を加える研究が進められている．仮想環境で学習を行うことで，現実世界のハードウエアの摩耗，損傷がないことや学習の高速化などの利点がある．しかし，仮想環境と現実世界には，少なからず誤差が発生し学習結果が現実世界に必ずしも適応できないリアリティギャップ問題が存在する．本研究ではUnityと学習プラグインであるML-Agentsを用いて仮想環境を構築し，リアリティギャップ問題の解消を目標とする．今回，基礎実験として仮想環境下に３自由度を有するロボットアームを構築し，指定した空間内でランダムに生成された目標物に対してロボットの手先を接触させるタスクをPPO，SAC手法で学習を行った．結果，NNモデルを作成し，PPOよりもSACがより早く報酬を集めオフポリシーである学習アルゴリズムの特徴を確認できた．