{"product_id":"ieej-20251010c00801-008","title":"RAGのテストデータ自動生成手法に関する評価研究","description":"\u003cp\u003e\u003cstrong\u003eカテゴリ：\u003c\/strong\u003e研究会(論文単位)\u003c\/p\u003e\u003cp\u003e\u003cstrong\u003e論文No：\u003c\/strong\u003eIS25058\u003c\/p\u003e\u003cp\u003e\u003cstrong\u003eグループ名：\u003c\/strong\u003e【C】電子・情報・システム部門 情報システム研究会\u003c\/p\u003e\u003cp\u003e\u003cstrong\u003e発行日：\u003c\/strong\u003e2025\/10\/10\u003c\/p\u003e\u003cp\u003e\u003cstrong\u003eタイトル(英語)：\u003c\/strong\u003eAn Evaluation of a Method for Automatically Creating Test Data in Retrieval-Augmented Generation\u003c\/p\u003e\u003cp\u003e\u003cstrong\u003e著者名：\u003c\/strong\u003e皆川 日伽(神奈川工科大学),石 澤蘭(神奈川工科大学),須藤 康裕(神奈川工科大学),松本 一教(神奈川工科大学)\u003c\/p\u003e\u003cp\u003e\u003cstrong\u003e著者名(英語)： \u003c\/strong\u003eHinoka Minagawa(Kanagawa Institute of Technology),Zelan Shi(Kanagawa Institute of Technology),Yasuhiro Sudo(Kanagawa Institute of Technology),Kazunori Matsumoto(Kanagawa Institute of Technology)\u003c\/p\u003e\u003cp\u003e\u003cstrong\u003eキーワード：\u003c\/strong\u003eＲＡＧ,回答精度,生成ＡＩ,テストデータ生成,RAG,accuracy,generative AI,test data generation,meta-data,system evaluation\u003c\/p\u003e\u003cp\u003e\u003cstrong\u003e要約(日本語)：\u003c\/strong\u003eRetrieval-Augmented Generation (RAG)は，外部情報ソースを使って大規模言語モデルの知識を増やすことができる．ハルしかし，精度や一貫性に課題があり，評価手法が重要になっている．本研究は，テストデータ自動生成手法DataMorganaの実現可能性を検証した．結果として，情報ソースの特性によって性能が異なり，実用化にはさらなる研究が必要だと判明した．\u003c\/p\u003e\u003cp\u003e\u003cstrong\u003e要約(英語)：\u003c\/strong\u003eRetrieval-Augmented Generation (RAG) enhances large language models (LLMs) by utilizing external information sources. However, it faces challenges in accuracy and consistency, making evaluation methods crucial. This study examined the feasibility of DataMorgana, a method for automatically generating test data. The results showed that performance varies depending on the characteristics of the information source, indicating that further research is needed for practical use.\u003c\/p\u003e\u003cp\u003e\u003cstrong\u003e本誌：\u003c\/strong\u003e\u003ca href=\"\/products\/IEEJ-20251010C00801\"\u003e2025年10月13日-2025年10月14日情報システム研究会\u003c\/a\u003e\u003c\/p\u003e\u003cp\u003e\u003cstrong\u003e本誌掲載ページ：\u003c\/strong\u003e31-35p\u003c\/p\u003e\u003cp\u003e\u003cstrong\u003e原稿種別：\u003c\/strong\u003e日本語\u003c\/p\u003e\u003cp\u003e\u003cstrong\u003ePDFファイルサイズ：\u003c\/strong\u003e1,230Kバイト\u003c\/p\u003e","brand":"IEEJ-P10","offers":[{"title":"冊子印刷（一般価格660円\/会員価格440円） \/ A4 \/ 5","offer_id":46924872777967,"sku":"IEEJ-20251010C00801-008-PRT","price":660.0,"currency_code":"JPY","in_stock":true},{"title":"PDFダウンロード（一般価格330円\/会員価格220円） \/ A4 \/ 5","offer_id":46924872810735,"sku":"IEEJ-20251010C00801-008-PDF","price":330.0,"currency_code":"JPY","in_stock":true}],"thumbnail_url":"\/\/cdn.shopify.com\/s\/files\/1\/0718\/9512\/2159\/files\/IEEJ-KENKYUKAI_d1667859-0161-449e-af8f-90c85a7ee46e.png?v=1759908196","url":"https:\/\/ieej.bookpark.ne.jp\/products\/ieej-20251010c00801-008","provider":"電気学会 電子図書館","version":"1.0","type":"link"}