脳波からの聴覚刺激再構築に用いる特徴量の時間幅の影響

カテゴリ: 部門大会

論文No: PS2-5

グループ名: 【C】2022年電気学会電子・情報・システム部門大会

発行日: 2022/08/24

タイトル(英語): Effect of time window of features on stimulus reconstruction from neural signals

著者名: 仙田 淳（東京大学）,田中 真衣（東京大学）,飯島 圭哉（国立精神・神経医療研究センター病院）,杉野 正和（東京大学）,森 史奈（東京大学）,神保 泰彦（東京大学）,岩崎 真樹（国立精神・神経医療研究センター病院）,小谷 潔（東京大学）

著者名(英語): Jyun Senda (University of Tokyo),Mai Tanaka (University of Tokyo),Keiya Iijima (National Center Hospital, National Center of Neurology and Psychiatry),Masato Sugino (University of Tokyo),Fumina Mori (University of Tokyo),Yasuhiko Jimbo (University of Tokyo),Masaki Iwasaki (National Center Hospital, National Center of Neurology and Psychiatry),Kiyoshi Kotani (University of Tokyo)

キーワード: 聴覚刺激|刺激再構築|深層学習|頭蓋内電極|audio stimuli|stimulus reconstruction|deep learning|ECoG

要約(日本語): 聴覚刺激と脳での活動の関係をモデル化することにより，聴覚情報の処理過程を理解しようとする考え方が存在する．聴覚刺激と脳波を関係づけるモデルとして，計測した脳波から聴覚刺激を推定する再構築モデルが挙げられる．この再構築精度が向上することにより，情報処理過程を精度良く把握することが可能となる．そこで本研究では，頭蓋内電極で計測した脳活動から聴覚刺激をニューラルネットワークを用いて高精度に推定することを目的とした．推定に使用したデータの時間幅を変化させ，推定結果と実際の刺激のスペクトログラムの類似度を比較した．比較した結果，聴覚刺激の推定に使用する脳活動の時間幅が長くなるほど，推定精度が高くなることを確認した．また，推定に長い時間幅を含む複数の時間幅のデータを使用するモデルにおいて，使用した最長の時間幅の脳波のみから推定するモデルと同程度の精度が得られることと学習時間が短縮されることを確認した．