Analysis of Memory Usage in ZeRO-3 Fine-Tuning of BERT for GPU Memory Optimizing

カテゴリ：研究会(論文単位)

論文No：IS25039

グループ名：【C】電子・情報・システム部門 情報システム研究会

発行日：2025/8/2

タイトル(英語)：Analysis of Memory Usage in ZeRO-3 Fine-Tuning of BERT for GPU Memory Optimizing

著者名：Tan Xiao jie(東北大学),中村 隆喜(東北大学)

著者名(英語)： Xiao jie Tan(Tohoku University),Takaki Nakamura(Tohoku University)

キーワード：GPU Memory Optimization,Fine-tuning,DeepSpeed ZeRO-3,BERT-Large,Tensor statistics

要約(日本語)：大規模言語モデルを用いたファインチューニングでは大量のGPUメモリを必要とする。本研究では、メモリ使用量の最適化を目的として、ファインチューニングの各処理ステップにおけるメモリ使用量とオフロードの効果を分析した。メモリ使用量の定量的な分析にはテンソル統計法を用い、オフロードにはDeepSpeed ZeRO-3を適用した。その結果、ピークGPUメモリ使用量の大幅な削減を実現した。

要約(英語)：Fine-tuning large language models requires substantial GPU memory. To optimize memory usage, we analyzed memory usage at each fine-tuning step and the effect of offloading. we employed tensor statistics to quantify memory usage of key components and used DeepSpeed ZeRO-3 for offloading. We achieve a significant reduction in peak GPU memory.

本誌：2025年8月5日-2025年8月6日情報システム研究会

本誌掲載ページ：13-18p

原稿種別：英語

PDFファイルサイズ：643Kバイト