心の多様な動きを解読するfMRI －脳情報学による文理融合を目指して－

東京工業大学大学院社会理工学研究科の赤間啓之准教授らは、人がどのような状況で言葉やその意味を考え、それが機能磁気共鳴画像法（fMRI)など脳の観測データにどう反映されるのかという、個人の多様な反応特性を考慮した言語予測モデルを開発した。これにより、人が考えている言葉などを脳の観察により知ることができるようになる。これは心と体の変化のシンクロ（同調）を明確に表し、文理融合の要である身心相関の科学における重要な発見であり、実用レベルでは意思の伝達手段を身体的に奪われた方たちの支援デバイスの開発につながる成果である。
赤間准教授はイタリアのトレント大学、米国カーネギーメロン大学など脳研究でトップクラスの国際研究機関と共同で、個別の思考データを、多様なまま個人のプロファイルとして扱うことを目指し、それらを予測モデルの精度が時系列にどう細かく分布するか、個別の人ごとに特徴解析を行なうこと...

• 脳のfMRI実験データを用い、ヒトの言語思考を解読
• 個人の多様な反応特性を入れた言語思考予測モデルを提案
• 身障者の支援デバイスの開発に役立つ

東京工業大学大学院社会理工学研究科の赤間啓之准教授らは、人がどのような状況で言葉やその意味を考え、それが機能磁気共鳴画像法（fMRI、用語1）など脳の観測データにどう反映されるのかという、個人の多様な反応特性を考慮した言語予測モデルを開発した。これにより、人が考えている言葉などを脳の観察により知ることができるようになる。これは心と体の変化のシンクロ（同調）を明確に表し、文理融合の要である身心相関の科学における重要な発見であり、実用レベルでは意思の伝達手段を身体的に奪われた方たちの支援デバイスの開発につながる成果である。
赤間准教授はイタリアのトレント大学、米国カーネギーメロン大学など脳研究でトップクラスの国際研究機関と共同で、個別の思考データを、多様なまま個人のプロファイルとして扱うことを目指し、それらを予測モデルの精度が時系列にどう細かく分布するか、個別の人ごとに特徴解析を行なうことで、個人のシグニチャにあたるパターンの抽出に成功した。
この研究は、東工大が2010年に導入したfMRIを利用した最初の国際学術誌論文としてスイスの電子ジャーナル「フロンティアーズ　イン　ニューロインフォマティクス（Frontiers in Neuroinformatics）」に掲載された。

今回の研究における最大の発見は、いかに個別の人の思考方略の多様性が際立っていても、思考推定モデルの予測精度の時間的変化を表す関数は平均化するとボールド効果（BOLD、用語2）の基底関数(脳血流中の酸化ヘモグロビンの濃度変化を表すガンマ関数)ときわめて相似し、線形変換によってほぼ一致するということである。これは心と体の変化のシンクロを極めて明確に表し、文理融合の要である身心相関の科学において、重要な発見である。

（補足）思考推定モデルのあてはまりの良さは、思考過程のどの時点でデータをサンプルするかによって細かく変わっていく。このように、「サンプルする時点（1秒単位で定義域を設定する）」と「モデルの精度（いわゆる何回のうち何回モデルが当たるかという的中率）」の間で、フィットする関数を計算する。このような心の動きをダイレクトにとらえる関数は、個人によって、あるいは同じ個人でも条件が違った回ではまちまちな結果を出す。これはタスク方略の違いや、環境のノイズなど様々な原因が考えられる。しかし、平均を取ると、その予測精度関数（図ではMean all）は、奇しくも、タスクの開始から５秒程度遅れてピークに達することが知られている脳血流動態の生理的な関数(図ではDefault SPM HRF)とは、きわめて良く相似しており、図のようなガンマ関数になり、線形変換でほぼ一致するということである。

人が頭の中で考えている言葉や意味、すなわち人の思考、認知的状態を解読、判別、分類、予想することは、fMRIなどの脳反応データを、機械学習（用語3）と言う方法でコンピューターによるパターン解析にかけることで可能になる。つまり、脳科学と人工知能の手法を組み合わせることで、表明されなかった思考でも、神経反応をモデル化することにより、「予測」することができる。
こうした「多ボクセルパターン解析」（MVPA、用語4）という方法は、医療工学の分野での基礎研究として注目を集めている。トレント大学、ダートマスカレッジのジェームス・ハクスビー（James Haxby）教授やカーネギーメロン大学のトム・ミッチェル（Tom Mitchell）教授の論文などを通じて、きわめて有効で応用範囲が広いことが知られている。なお、東工大は両教授らの研究室と緊密な研究協力関係にある。
しかし、比較的に緩い制約条件下では、ヒトによって言葉の意味を考えるやり方はさまざまであり、また、同じヒトが異なる日時・条件で同じことを考えたとしても、ひとつのモデルがそのまま別のケースに適用できるとは限らないという問題があった。今回は、赤間准教授がトレント大学、カーネギーメロン大学との共同研究によって、この問題を解決した。

現在は、言語の切り替えを脳が行なっているという条件も入れて、バイリンガル話者や外国語学習者を実験参加者に、同様のパラダイムでfMRI実験を行い、データ解析の段階である。また脳はひとつの複雑ネットワークをなしているので、脳データをグラフ構造化した情報を言語思考の予測モデルに導入する、新たなMVPAの方法論を模索中である。多様なファクターを入れた言語思考の解読モデルの構築(科研基盤研究(C)で遂行中)を目指し、個人の特性を反映した、実用に耐えうる、神経情報科学の基礎理論を樹立する。

Hiroyuki Akama, Brian Murphy, Li Na, Yumiko Shimizu, Massimo Poesio, Decoding Semantics across fMRI sessions with Different Stimulus Modalities: A practical MVPA Study,　published in Frontiers in Neuroinformatics.
http://www.frontiersin.org/Journal/Abstract.aspx?s=752&name=neuroinformatics&ART_DOI=10.3389/fninf.2012.00024