Tabular Dataのための乗算的特徴エンジニアリングTransformer

カテゴリ: 研究会(論文単位)

論文No: IIC22027

グループ名: 【D】産業応用部門 産業計測制御研究会

発行日: 2022/11/28

タイトル(英語): Cross-Attention Feature Engineering Transformer In addition to Additional Feature for Tabular Data

著者名: 遠藤 巧人(芝浦工業大学),清水 創太(芝浦工業大学)

著者名(英語): Takuto Endo(Shibaura Institute of Technology),Sota Shimizu(Shibaura Institute of Technology)

要約(日本語): 本稿ではテーブルデータのための加算的特徴だけでなく乗算的特徴を捉え，且つバッチデータのばらつきを軽減した特徴量エンジニアリングに基づくトランスフォーマについて発表する．

要約(英語): This paper proposes a novel transformer for tabular data. The authors pay attention to how to make better use of multiplying feature, since conventional neural networks did use only additional features. Our proposed method has the following two advantages. One is to extract not only additional feature but also Cross Feature, i.e., as a multiplying feature, by using Exponential Neuron and Sparse Weights. The other is to enhance effectiveness of Cross Feature in training by computing sparse weights adaptively based on Attention mechanism.

本誌: 2022年12月1日-2022年12月2日産業計測制御研究会-1

本誌掲載ページ: 51-56 p

原稿種別: 日本語

PDFファイルサイズ: 1,678 Kバイト