アテンション及び単文トークンを有する長文エンコード表現

カテゴリ: 研究会(論文単位)

論文No: IIC22033

グループ名: 【D】産業応用部門 産業計測制御研究会

発行日: 2022/11/28

タイトル(英語): Long Text Encoder Representations with Attention and Single Sentence Tokens

著者名: 河野 治憲(芝浦工業大学),清水 創太(芝浦工業大学)

著者名(英語): Harumasa Kawano(Shibaura Institute of Technology),Sota Shimizu(Shibaura Institute of Technology)

要約(日本語): 本稿ではアテンション及び単文トークンを有する長文エンコード表現トランスフォーマーについて述べる．

要約(英語): This paper proposes a long text encoder representations with attention and single sentence tokens. The authors paid attention to that BERT’s attention mechanism concentrated values mainly to a CLS token and, as its result, it limited a sentence length for successful translation until 512 words. The proposed encoder ReAT achieved the QQP test by just minus 1 percent accuracy compared to BERT in its verification experiment despite it translated 16384 words successfully as the maximum.

本誌: 2022年12月1日-2022年12月2日産業計測制御研究会-1

本誌掲載ページ: 65-68 p

原稿種別: 日本語

PDFファイルサイズ: 539 Kバイト