RAGのテストデータ自動生成手法に関する評価研究

カテゴリ：研究会(論文単位)

論文No：IS25058

グループ名：【C】電子・情報・システム部門 情報システム研究会

発行日：2025/10/10

タイトル(英語)：An Evaluation of a Method for Automatically Creating Test Data in Retrieval-Augmented Generation

著者名：皆川 日伽(神奈川工科大学),石 澤蘭(神奈川工科大学),須藤 康裕(神奈川工科大学),松本 一教(神奈川工科大学)

著者名(英語)： Hinoka Minagawa(Kanagawa Institute of Technology),Zelan Shi(Kanagawa Institute of Technology),Yasuhiro Sudo(Kanagawa Institute of Technology),Kazunori Matsumoto(Kanagawa Institute of Technology)

キーワード：ＲＡＧ,回答精度,生成ＡＩ,テストデータ生成,RAG,accuracy,generative AI,test data generation,meta-data,system evaluation

要約(日本語)：Retrieval-Augmented Generation (RAG)は，外部情報ソースを使って大規模言語モデルの知識を増やすことができる．ハルしかし，精度や一貫性に課題があり，評価手法が重要になっている．本研究は，テストデータ自動生成手法DataMorganaの実現可能性を検証した．結果として，情報ソースの特性によって性能が異なり，実用化にはさらなる研究が必要だと判明した．

要約(英語)：Retrieval-Augmented Generation (RAG) enhances large language models (LLMs) by utilizing external information sources. However, it faces challenges in accuracy and consistency, making evaluation methods crucial. This study examined the feasibility of DataMorgana, a method for automatically generating test data. The results showed that performance varies depending on the characteristics of the information source, indicating that further research is needed for practical use.

本誌：2025年10月13日-2025年10月14日情報システム研究会

本誌掲載ページ：31-35p

原稿種別：日本語

PDFファイルサイズ：1,230Kバイト