大規模言語モデルとマルチモーダル入力を用いた学習支援システムの設計

カテゴリ: 研究会(論文単位)

論文No: IS23027

グループ名: 【C】電子・情報・システム部門 情報システム研究会

発行日: 2023/10/23

タイトル(英語): Design of an academic tutor with Large Language Models and Multi-modal input

著者名: 高 子豪(神奈川大学),秋吉 政徳(神奈川大学)

著者名(英語): Zihao GAO(Kanagawa University),Masanori Akiyoshi(Kanagawa University)

キーワード: 大規模言語モデル|生成ＡＩ|セマンティック検索|Large Language Model|generative AI|semantic search

要約(日本語): 大規模言語モデル(LLM)とその生成AIへの応用は、様々な自然言語処理タスクにおいて人間レベルの性能を持つことが証明されているが、LLMが学習されるデータの性質上、ドメイン固有の知識を必要とする場合では失敗する傾向がある。_x000D_ 本研究では、LLMを用いて研究論文に関する質問に回答する学習支援システムの設計を提案し、QASPERデータセットを用いて自動的にシステムを評価する。ファインチューニングを組んだLLMで0.1681のF1スコアの結果を取得した。_x000D_

要約(英語): Large Language Models and its application on generative AI have been proved to be human-level in various NLP downstream tasks, however, due to the nature of the data on which LLMs are trained, they tend to fail on scenarios requiring domain-specific knowledge._x000D_ We propose a design of an academic tutor which answers questions regarding research papers and evaluate the system with automatic proxy with span-level F1 score using QASPER dataset. The overall result is 0.1681 with fine-tuning, we think the retriever is the main issue to improve._x000D_

本誌: 2023年10月26日-2023年10月27日情報システム研究会

本誌掲載ページ: 37-40 p

原稿種別: 日本語

PDFファイルサイズ: 976 Kバイト