Attentionの重みを用いた焼きなまし法によるLLMの特徴量帰属に基づく説明の生成手法

カテゴリ：部門大会

論文No：TC8-2-7

グループ名：【C】2025年電気学会電子・情報・システム部門大会

発行日：2025/8/20

タイトル(英語)：A Generation Method for Feature Attribution Explanation of LLM Using Simulated Annealing with Attention Weights

著者名：加藤 駿弥（愛知県立大学）,小林 邦和（愛知県立大学）

著者名(英語)： Shunya Kato (Graduate School of Aichi Prefectural University),Kunikazu Kobayashi (Graduate School of Aichi Prefectural University)

キーワード：LLM,XAI,特徴量帰属,Attentionの重み,焼きなまし法,LLM,XAI,Feature Attribution,Attention Weights,Simulated Annealing

要約(日本語)：近年、LLMの透明性向上を目的とした説明可能なAI（XAI）が広く研究されており、特徴量帰属に基づく説明はその手法の一つである。これは、出力に対する各入力特徴の寄与度を提示することで、モデルの判断根拠を明示するものである。近年では、ビームサーチのような探索手法により入力特徴の重要度の順位を最適化する方法が提案されている。特に代表的な探索手法の一つである焼きなまし法は設定により結果が大きく変動し、探索に多くの計算時間を要する課題がある。そこで本研究では、探索の初期状態としてAttentionの重みを利用することで計算時間を短縮する手法を提案する。Llama-3.1と映画レビューデータセットによる実験の結果、Attentionの重みを初期値とすることで、Attentionの重みを使わない場合と比べて計算時間を削減できることを確認した。

本誌掲載ページ：375-381p

原稿種別：日本語

PDFファイルサイズ：398Kバイト