並列度自動調整によるPentahoのETL処理高速化

カテゴリ: 論文誌(論文単位)

グループ名: 【C】電子・情報・システム部門

発行日: 2019/04/01

タイトル(英語): A Feasibility Study for Speed up Data Transformation Process for Pentaho by Auto-Tune Parallelism

著者名: 飯塚　大介（（株）日立製作所 研究開発グループ），佐藤　壮太（（株）日立製作所 サービスプラットフォーム事業本部）

著者名(英語): Daisuke Iizuka (Research & Development Group, Hitachi, Ltd.), Sota Sato (Service Platform Business Division, Hitachi, Ltd.)

キーワード: ETL処理，並列化，性能チューニング，Pentaho　　Data Transformation，Parallelization，Performance tuning，Pentaho

要約(英語): On ETL processing using Pentaho, we propose automatic shortening processing time method by tuning each step concurrency level for Pentaho data transformation. It monitors queue length for each processing steps, and tunes number of threads for the step of longest queue length. For certain in-house data transformation target, proposed method can shorten processing time comparable to tune manually by expert.

本誌: 電気学会論文誌C（電子・情報・システム部門誌） Vol.139 No.4 （2019） 特集：スマートシステムと計測・制御技術

本誌掲載ページ: 524-525 p

原稿種別: 研究開発レター／日本語

電子版へのリンク: https://www.jstage.jst.go.jp/article/ieejeiss/139/4/139_524/_article/-char/ja/