畳み込みニューラルネットワークを用いた文書分類の学習に単語分散表現が与える影響に関する検討

カテゴリ: 部門大会

論文No: GS5-7

グループ名: 【C】2019年電気学会電子・情報・システム部門大会プログラム

発行日: 2019/08/28

タイトル(英語): A Study on the Influence of Types of Distributed Representations of Words on Learning of Convolutional Neural Networks for Sentence Classifications

著者名: 作元 卓也(千葉工業大学),山口 智(千葉工業大学)

著者名(英語): Takuya Sakumoto|Satoshi Yamaguchi

キーワード: 畳み込みニューラルネットワーク|自然言語処理|単語分散表現|文書分類|convolutional neural network|natural language processing|distributed representations of words|sentence classification

要約(日本語): 畳み込みニューラルネットワーク(CNN)による文書分類では，自然言語による文書をCNNでの処理が可能なデータへ変換する必要がある。そのため，文書中の単語を多次元の実数ベクトルとして表す単語分散表現が用いられる。文書分類を行うCNNへの入力は単語を表す数値ベクトルの列となるため，単語ベクトルの次元の増加に伴い，CNNへの入力データも高次元となる。高次元データに対して十分な学習を行うためには，大量の訓練データが必要となるが，必ずしも十分な数の訓練データが得られるとは限らない。また，入力データが高次元となる場合，パラメータの初期値が異なるCNNを用いると学習ごとに分類結果にばらつきが生じることが確認されている。このようなばらつきをなくすためには，入力データの次元を減らすことが望ましい。本研究では，単語分散表現の手法や単語ベクトルの次元が学習に及ぼす影響について，文書分類の結果をもとに検討を行う。

PDFファイルサイズ: 222 Kバイト