{"product_id":"ieej-btc205tc082007","title":"Attentionの重みを用いた焼きなまし法によるLLMの特徴量帰属に基づく説明の生成手法","description":"\u003cp\u003e\u003cstrong\u003eカテゴリ：\u003c\/strong\u003e部門大会\u003c\/p\u003e\u003cp\u003e\u003cstrong\u003e論文No：\u003c\/strong\u003eTC8-2-7\u003c\/p\u003e\u003cp\u003e\u003cstrong\u003eグループ名：\u003c\/strong\u003e【C】2025年電気学会電子・情報・システム部門大会\u003c\/p\u003e\u003cp\u003e\u003cstrong\u003e発行日：\u003c\/strong\u003e2025\/8\/20\u003c\/p\u003e\u003cp\u003e\u003cstrong\u003eタイトル(英語)：\u003c\/strong\u003eA Generation Method for Feature Attribution Explanation of LLM Using Simulated Annealing with Attention Weights\u003c\/p\u003e\u003cp\u003e\u003cstrong\u003e著者名：\u003c\/strong\u003e加藤 駿弥（愛知県立大学）,小林 邦和（愛知県立大学）\u003c\/p\u003e\u003cp\u003e\u003cstrong\u003e著者名(英語)： \u003c\/strong\u003eShunya Kato (Graduate School of Aichi Prefectural University),Kunikazu Kobayashi (Graduate School of Aichi Prefectural University)\u003c\/p\u003e\u003cp\u003e\u003cstrong\u003eキーワード：\u003c\/strong\u003eLLM,XAI,特徴量帰属,Attentionの重み,焼きなまし法,LLM,XAI,Feature Attribution,Attention Weights,Simulated Annealing\u003c\/p\u003e\u003cp\u003e\u003cstrong\u003e要約(日本語)：\u003c\/strong\u003e近年、LLMの透明性向上を目的とした説明可能なAI（XAI）が広く研究されており、特徴量帰属に基づく説明はその手法の一つである。これは、出力に対する各入力特徴の寄与度を提示することで、モデルの判断根拠を明示するものである。近年では、ビームサーチのような探索手法により入力特徴の重要度の順位を最適化する方法が提案されている。特に代表的な探索手法の一つである焼きなまし法は設定により結果が大きく変動し、探索に多くの計算時間を要する課題がある。そこで本研究では、探索の初期状態としてAttentionの重みを利用することで計算時間を短縮する手法を提案する。Llama-3.1と映画レビューデータセットによる実験の結果、Attentionの重みを初期値とすることで、Attentionの重みを使わない場合と比べて計算時間を削減できることを確認した。\u003c\/p\u003e\u003cp\u003e\u003cstrong\u003e本誌掲載ページ：\u003c\/strong\u003e375-381p\u003c\/p\u003e\u003cp\u003e\u003cstrong\u003e原稿種別：\u003c\/strong\u003e日本語\u003c\/p\u003e\u003cp\u003e\u003cstrong\u003ePDFファイルサイズ：\u003c\/strong\u003e398Kバイト\u003c\/p\u003e","brand":"IEEJ-PDF","offers":[{"title":"PDFダウンロード（一般価格440円\/会員価格220円） \/ A4 \/ 6","offer_id":47942202818799,"sku":"IEEJ-BTC205TC082007-PDF","price":440.0,"currency_code":"JPY","in_stock":true}],"thumbnail_url":"\/\/cdn.shopify.com\/s\/files\/1\/0718\/9512\/2159\/files\/IEEJ-PDF_bumontaikai_77fdf2f1-8353-40b5-9fa2-613fd5148ee6.png?v=1773065349","url":"https:\/\/ieej.bookpark.ne.jp\/products\/ieej-btc205tc082007","provider":"電気学会 電子図書館","version":"1.0","type":"link"}