Deep Learning Performance-up by Feature-map Characteristic Analysis and Redundancy Reduction

カテゴリ: 研究会(論文単位)

論文No: CT21046

グループ名: 【C】電子・情報・システム部門 制御研究会

発行日: 2021/06/23

タイトル(英語): Deep Learning Performance-up by Feature-map Characteristic Analysis and Redundancy Reduction

著者名: Li Qi(立命館大学),Li Hengyi(立命館大学),Wang wenwen(University of Georgia),Meng lin(立命館大学)

著者名(英語): Qi Li(Ritsumeikan University),Hengyi Li(Ritsumeikan University),wenwen Wang(University of Georgia),LIn Meng(Ritsumeikan University)

キーワード: 深層学習の性能向上|特徴マップの特性分析|冗長計算の削減|スパース性の利用|Deep Learning Performance-up|Feature-Map Characteristic Analysis|Redundancy Reduction|Sparsity Utilization

要約(日本語): 現在、深層学習モデルはさまざまな分野で応用され、画像認識、文書分析、言語処理などに大きな変革をもたらしている。しかし、深層学習に大量な冗長計算が存在しているため、計算資源が浪費されるし、応用拡大も制限されている。本論文は深層学習の性能を向上するために冗長計算の削減を目指す。具体的には、特徴マップの特性を分析し、そのスパース性を利用して、冗長計算を削減する。さらに、「ReLU」関数のしきい値を調整し、さらなる冗長計算の削減を目指す。実験結果として、VGG-16の特徴マップを62%削減し、モデル性能への影響がない。これが提案手法の有効性を証明している。

要約(英語): Currently, deep learning models are wildly used in a variety of fields and bring huge innovations such as image recognition, document analysis, semantic segmentation and so on. However, large redundant calculations exist which waste the computation resource and limit the challenges of deep learning applications. This paper aims to reduce the redundant calculations for improving the performance of deep learning. In detail, we analyze the feature-map characteristics and try to reduce redundant calculations by utilizing the sparsity of feature maps. Furthermore, we enhance the sparsity of the input feature-map to reduce more redundant calculations. Experimental results show that 62% of feature-maps are reduced in VGG-16 with performance as well as the original network, which has proved the effectiveness of the proposal.

本誌: 2021年6月26日制御研究会

本誌掲載ページ: 9-13 p

原稿種別: 英語

PDFファイルサイズ: 244 Kバイト