研究

東工大ニュース

声を聞く前から脳は活動している

脳波によって人の「予測」の実態を解明

RSS

公開日:2021.03.09

要点

  • 声に対する脳内の情報処理は素早く、実際に声を聴く前から始まっている
  • メロディや機械的なビープ音は声の情報処理より時間がかかる
  • 脳は声からより多くの情報を引き出していることを明らかにした

概要

東京工業大学 リベラルアーツ研究教育院の大上淑美研究員と小谷泰則助教は、聞こえてくる音を人が予測する場合、メロディや機械的なビープ音を予測するよりも、人の声を予測する方がより早いことを発見し、声に関する脳内の情報処理は、実際に声を聞く前から始まっていることを仮定しこれを実証した。

「予測」に関係する脳活動を声・メロディ・ビープ音の3種類の音を用いて、刺激先行陰性電位(SPN)[用語1]と呼ばれる脳波を測定して比較し、実現した。また、P3[用語2]と呼ばれる脳波を用いて3つの音の情報処理量を比較したところ、メロディやビープ音よりも、人は声からより多くの情報量を抽出していることを明らかにした。

大上研究員らはすでに2014年に顔について、その顔を見る前から脳が活動していることを実証しており[参考文献]、今回の研究と合わせて声と顔の情報処理は他の刺激よりも素早く行われることを示した。新型コロナウイルスの発生後、遠隔でのミーティングなどが多く行われているが、本研究の結果は、声が聞こえ、顔が見えることは人間の情報伝達のスピードを速くさせコミュニケーションを円滑にさせる可能性があることを示唆している。

この成果はオランダの科学誌「Biological Psychology(バイオロジカル・サイコロジー、生物心理学)」オンライン版に2月14日(現地時間)付で掲載された。

研究成果

人間は行動を迅速かつ的確に行うため「予期・予測」という能力を備えている。このメカニズムを調べるため、大上研究員らは声・メロディ・ビープ音という3つの音刺激を用いて、予測に関わる脳活動の違いをSPNと呼ばれる脳波とその成分から検討した。実験には34名が参加し、時間評価課題[用語3]を行った。

この課題では実験参加者に指定された時間(4秒)が経過したらボタンを押してもらい、指定された秒数通りにボタンを押したか否かのフィードバック刺激(FB)[用語4]をボタン押しから2秒後に呈示した。FB刺激として声(「あたり」・「はずれ」)が聞こえる条件、メロディが聞こえる条件(軽快なメロディもしくは鈍重なメロディ)、ビープ音(2000 Hzもしくは500 Hzのビープ音)が聞こえる条件を設定し、SPNを高密度脳波電極(頭皮上68個の電極)にて測定し、FB刺激が出る前の脳活動を調べた。

図1は左脳の後側頭部のSPNを示している。声(赤線)は1秒以上前の時点においてすでにメロディ(青線)やビープ音(緑線)よりSPNの振幅が増加している(点線四角内。FBの時点で音刺激が呈示される)。これは左脳にある言語野が声を聞く前にすでに活動しているためと考えられる。

図1. 左脳後側頭部のSPNの平均波形

図1. 左脳後側頭部のSPNの平均波形

全実験参加者の脳波を平均し、3つの条件を重ね合わせた図。0 msの時点でボタンを押し、2000 ms時点のところで音刺激が呈示される。SPNは陰性の脳波であり、点線四角内(500~1000 ms)のところで、声条件(赤線)の振幅が統計学的に有意に大きくなっていた。

図2は、SPNに対し、成分に分解する分析(主成分分析)を行った結果であるが、6つの成分のうち2つがSPNに深く関与していた。声を予測する場合は、前期成分(F2・青線)の振幅が大きくなることがわかり、声の予測は、1秒以上も前から脳活動を高めることがわかった。また、メロディやビープ音の予測は、後期成分(F5・赤線)で処理されていることがわかった。

図2. 予測と関係する脳波の成分波形

図2. 予測と関係する脳波の成分波形

主成分分析を行い、6つの成分を抽出後、時間軸に沿って各成分の時間変化を描出した。

図3は脳内の情報処理量を反映するP3と呼ばれる脳波を示している(点線丸印)。P3は刺激が出された直後に出現する脳波である。P3は声を聞いたときの振幅が大きくなっており(赤線)、人は声からより多くの情報を引き出していることを示している。

図3. P3の平均波形

図3. P3の平均波形

全実験参加者の脳波を平均し、3つの条件を重ね合わせた図。この図では、0 msの時点で音刺激が呈示されている。P3は陽性の脳波で、音刺激後に出現する。声条件(赤線)の振幅が大きくなっている。

図4は、脳波の頭皮上の電位分布を示している(上の方が頭の前方)。音が聞こえたときとその後の脳の活動を示している(青色が濃い方が、脳活動が大きいことを示している)。メロディは声とビープ音に比べてSPNが小さかったが、メロディが聞こえた後には他の音よりも脳の活動が高まる(FB後に青色が濃くなる)ことがわかった。そのため、メロディのような複雑な音は、予測する時よりも刺激が出た後の方が脳の活動が高まることが明らかになった。

図4. 頭皮状電位分布図

図4. 頭皮状電位分布図

頭上から見た平均脳波の分布図で、FB呈示時とFB呈示後の比較の図である(額が上を向いている)。SPNは陰性の脳波なので、青色が濃いと活動が高く、青色が薄いと活動が低いことを意味している。メロディ条件は、ほかの2つと比べて、FB後(音刺激後)の活動が高い。

以上の結果から、声は聞こえる前から脳の活動を高めるのに対し、メロディのような音楽や複雑な音は、聞こえた後に脳の活動が高まることが示された。

大上研究員らはすでに2014年に顔を見る前から脳が活動していることを実証しており[参考文献]、今回の研究と合わせ、顔と声がコミュニケーションにおいて重要な役割を担っていることを示した。顔や声をともなうコミュニケーションでは、意味の抽出や感情表現、その人物が誰かを判別し特定する作業が必要になり、より長い処理時間が必要となる。そのために顔や声が出現する前から脳を事前に活動させておく必要があるものと考えられる。

新型コロナウイルスの発生後、遠隔でのミーティングなどが多く行われている。本研究の結果は、声が聞こえ、顔が見えることは、人間の情報伝達のスピードを速くさせ、コミュニケーションを円滑にさせる可能性があることを示唆している。

背景

予測に伴って出現する脳波であるSPNは、課題に関連した刺激が与えられる時に、その刺激が出る前の数秒前から出現することがわかっている。このSPNには、右半球優位性(右脳の活動が大きい)という特徴があり、金銭報酬を与えた場合には動機づけ(やる気)が高まり、SPNが大きくなるという特徴がある。加えて、SPNには前期成分と後期成分があることが先行研究で明らかになり、顔刺激呈示[用語5]時に前期成分の活動が高まることがわかっていた。

経緯

大上研究員らが行った先行研究[参考文献]では、3種類の視覚刺激(顔・記号・言語)を用いて予測の脳活動を測定しており、顔の予測は脳活動を事前に高めSPNの前期成分が高まることを示した。このことは、顔は他の刺激よりも早く処理されることを意味し、今回は声について顔と同様に他の音刺激よりも早く処理されるかを検討した。

今後の展開

今後、大上研究員らは視覚や聴覚刺激以外の刺激、例えば体性感覚[用語6]刺激を用いた場合の予測の脳活動に違いがあるのかどうかを検討し、どのような刺激が人の脳活動を事前に高めるのか、またそのような刺激にはどのような特性があるのかを調べていく方針である。

このことが明らかにできれば、人が何を期待しているかを脳波から判別することが可能となり、疾病のために身体が動かせない人が何をしたいと思っているのかなどを判定し、代わりにロボットをコントロールするなど、人間と機械を結びつける技術への応用ができる可能性がある。

付記

本研究は、JSPS科研費基盤研究(C)24530912の助成を受けたものである。

用語説明

[用語1] 刺激先行陰性電位 : 課題に関連した知覚刺激が与えられた時に、その刺激が出る前の数秒間に出現する脳波(事象関連電位)である。右半球優位性という特徴を持っているが、常に右半球優位性が確認されているわけではない。

[用語2] P3 : 刺激が呈示されて約300ミリ秒後に出現する脳波。情報処理の量など、刺激比較・評価・判断・選択的注意・認知文脈などに関与していると言われている。

[用語3] 時間評価課題 : 実験参加者は指定された時間、例えば4秒を頭の中で数えてボタンを押し、その数秒後にその時間評価が合っていたか間違っていたかのフィードバックが提示される。

[用語4] フィードバック刺激 : 実験課題において指定された行いに対する結果を示す刺激のこと。

[用語5] 顔刺激呈示 : 人の顔(さまざまな表情)の写真を視覚刺激として用いること。

[用語6] 体性感覚 : 体性感覚とは、皮膚感覚、深部感覚、内臓感覚など身体に関する感覚を意味する。

参考文献

Yoshimi Ohgami, Yasunori Kotani, Jun-Ichirou Arai, Shigeru Kiryu, Yusuke Inoue.

Facial, verbal, and symbolic stimuli differently affect the right hemisphere preponderance of stimulus‐preceding negativity, Psychophysiology, 2014, 51(9), 843-852

DOI : 10.1111/psyp.12234 outer

論文情報

掲載誌 :
Biological Psychology
論文タイトル :
Voice, rhythm, and beep stimuli differently affect the right hemisphere preponderance and components of stimulus-preceding negativity
著者 :
Yoshimi Ohgami, Yasunori Kotani, Nobukiyo Yoshida, Akira Kunimatsu, Shigeru Kiryu, Yusuke Inoue
DOI :

リベラルアーツ研究教育院

リベラルアーツ研究教育院 ―理工系の知識を社会へつなぐ―
2016年4月に発足したリベラルアーツ研究教育院について紹介します。

リベラルアーツ研究教育院(ILA)outer

学院・系及びリベラルアーツ研究教育院outer

お問い合わせ先

東京工業大学 リベラルアーツ教育研究院

研究員 大上淑美

E-mail : ohgami.y.aa@m.titech.ac.jp
Tel / Fax : 03-5734-2869

取材申し込み先

東京工業大学 総務部 広報課

E-mail : media@jim.titech.ac.jp
Tel : 03-5734-2975 / Fax : 03-5734-3661

RSS