{"product_id":"ieej-20250802c00801-003","title":"Analysis of Memory Usage in ZeRO-3 Fine-Tuning of BERT for GPU Memory Optimizing","description":"\u003cp\u003e\u003cstrong\u003eカテゴリ：\u003c\/strong\u003e研究会(論文単位)\u003c\/p\u003e\u003cp\u003e\u003cstrong\u003e論文No：\u003c\/strong\u003eIS25039\u003c\/p\u003e\u003cp\u003e\u003cstrong\u003eグループ名：\u003c\/strong\u003e【C】電子・情報・システム部門 情報システム研究会\u003c\/p\u003e\u003cp\u003e\u003cstrong\u003e発行日：\u003c\/strong\u003e2025\/8\/2\u003c\/p\u003e\u003cp\u003e\u003cstrong\u003eタイトル(英語)：\u003c\/strong\u003eAnalysis of Memory Usage in ZeRO-3 Fine-Tuning of BERT for GPU Memory Optimizing\u003c\/p\u003e\u003cp\u003e\u003cstrong\u003e著者名：\u003c\/strong\u003eTan Xiao jie(東北大学),中村 隆喜(東北大学)\u003c\/p\u003e\u003cp\u003e\u003cstrong\u003e著者名(英語)： \u003c\/strong\u003eXiao jie Tan(Tohoku University),Takaki Nakamura(Tohoku University)\u003c\/p\u003e\u003cp\u003e\u003cstrong\u003eキーワード：\u003c\/strong\u003eGPU Memory Optimization,Fine-tuning,DeepSpeed ZeRO-3,BERT-Large,Tensor statistics\u003c\/p\u003e\u003cp\u003e\u003cstrong\u003e要約(日本語)：\u003c\/strong\u003e大規模言語モデルを用いたファインチューニングでは大量のGPUメモリを必要とする。本研究では、メモリ使用量の最適化を目的として、ファインチューニングの各処理ステップにおけるメモリ使用量とオフロードの効果を分析した。メモリ使用量の定量的な分析にはテンソル統計法を用い、オフロードにはDeepSpeed ZeRO-3を適用した。その結果、ピークGPUメモリ使用量の大幅な削減を実現した。\u003c\/p\u003e\u003cp\u003e\u003cstrong\u003e要約(英語)：\u003c\/strong\u003eFine-tuning large language models requires substantial GPU memory. To optimize memory usage, we analyzed memory usage at each fine-tuning step and the effect of offloading. we employed tensor statistics to quantify memory usage of key components and used DeepSpeed ZeRO-3 for offloading. We achieve a significant reduction in peak GPU memory.\u003c\/p\u003e\u003cp\u003e\u003cstrong\u003e本誌：\u003c\/strong\u003e\u003ca href=\"\/products\/IEEJ-20250802C00801\"\u003e2025年8月5日-2025年8月6日情報システム研究会\u003c\/a\u003e\u003c\/p\u003e\u003cp\u003e\u003cstrong\u003e本誌掲載ページ：\u003c\/strong\u003e13-18p\u003c\/p\u003e\u003cp\u003e\u003cstrong\u003e原稿種別：\u003c\/strong\u003e英語\u003c\/p\u003e\u003cp\u003e\u003cstrong\u003ePDFファイルサイズ：\u003c\/strong\u003e643Kバイト\u003c\/p\u003e","brand":"IEEJ-P10","offers":[{"title":"冊子印刷（一般価格660円\/会員価格440円） \/ A4 \/ 6","offer_id":46655051202799,"sku":"IEEJ-20250802C00801-003-PRT","price":660.0,"currency_code":"JPY","in_stock":true},{"title":"PDFダウンロード（一般価格330円\/会員価格220円） \/ A4 \/ 6","offer_id":46655051235567,"sku":"IEEJ-20250802C00801-003-PDF","price":330.0,"currency_code":"JPY","in_stock":true}],"thumbnail_url":"\/\/cdn.shopify.com\/s\/files\/1\/0718\/9512\/2159\/files\/IEEJ-KENKYUKAI_de62ab02-75f9-4408-aa84-750f02f98aa3.png?v=1753435851","url":"https:\/\/ieej.bookpark.ne.jp\/products\/ieej-20250802c00801-003","provider":"電気学会 電子図書館","version":"1.0","type":"link"}