深層学習におけるCPU/GPU並列分散処理の適正化検討

カテゴリ: 部門大会

論文No: GS9-6

グループ名: 【C】2023年電気学会電子・情報・システム部門大会

発行日: 2023/08/23

タイトル(英語): Optimization of CPU and GPU Parallelism Distributed Processing in Deep Learning

著者名: 松本 直也（東芝インフラシステムズ）,高野 俊也（東芝インフラシステムズ）,伴野 幸造（東芝インフラシステムズ）

著者名(英語): Naoya Matsumoto (TOSHIBA Infrastructure Systems & Solution Cooperation),Toshiya Takano (TOSHIBA Infrastructure Systems & Solution Cooperation),Kozo Banno (TOSHIBA Infrastructure Systems & Solution Cooperation)

キーワード: 深層学習|並列分散処理|最適化最適化|Deep Learning|Parallelism Distributed Processing|Optimization

要約(日本語): 近年、高度な制御に対する要求から深層学習を用いたシステムへの期待が高まっている。深層学習を用いたシステムでは、運用開始前の学習だけでなく長期運用における環境変化に対して性能を維持するための再学習が必要となる。学習時間はシステムの運用コストに影響を与えるため短いことが望ましい。一般的に深層学習は機械学習フレームワークを使用してCPUとGPU上で実行するが、必ずしもCPU、GPUの計算リソースを有効に活用できておらず学習時間が長くなるケースがある。例えば、GPUに処理をオフロードした際、CPUが待ち状態となり処理効率が低下するケースやGPUへのオフロード処理が細かすぎて、CPU-GPU間の転送により処理効率が低下するなどのケースが発生している。本稿では、深層学習における処理効率向上を実現するCPU/GPU並列分散処理について、モチーフをもとに検討し、学習時間の短縮を図る。