神谷之康 情報学研究科教授、堀川友慈 株式会社国際電気通信基礎技術研究所主任研究員の研究グループは、ヒトの脳活動パターンを深層ニューラルネットワーク（deep neural network model、以下DNN）等の人工知能モデルの信号に変換して利用することで、見ている画像に含まれる物体や想像している物体を脳から解読する技術の開発に成功しました。本研究成果は、人工知能の分野で進展が著しいDNNをヒトの脳と対応づけることで、脳からビッグ・データの利用を可能とする先進的技術です。
本研究成果は、2017年5月22日午後6時に英国の科学雑誌「Nature Communications」に掲載されました。
研究者からのコメント
本研究では、ブレイン・デコーディング、DNN、大規模画像データベースを組み合わせることで、脳活動パターンから、知覚・想起している任意の物体を解読する方法を開発しました。人工ニューラルネットワークは脳の構造にヒントを得て作られた数理モデルですが、近年では脳のモデルとしてよりも汎用的な機械学習手法として利用されてきました。今回の成果によって、人工ニューラルネットワークが再び実際の脳と対応づけられることとなり、ブレイン・デコーディングへの応用だけでなく、脳型人工知能の開発にも貢献することが期待されます。今後は、実際の脳と機械を融合させる新たな知能システム（「脳－機械融合知能」）の実現を目指し、神経科学と人工知能を融合させる研究を進める予定です。
概要
機能的磁気共鳴画像法（fMRI）等により計測されるヒトの脳活動パターンを機械学習によるパターン認識で解析することで、心の状態を解読する技術は「ブレイン・デコーディング」と呼ばれ、本研究グループが世界に先駆けて開発してきました。しかし、脳活動からその時に見ている物体を解読する従来の方法では、あらかじめ脳活動を計測して機械学習モデルをトレーニングした少数の物体カテゴリーしか対象にできませんでした。一方、DNNは、脳の基本素子であるニューロンやシナプスにヒントを得て作られた人工ニューラルネットワークの一種で、近年ではヒトと同レベルの物体認識精度を達成しています。
本研究グループは、画像を見ているときのヒトの脳活動パターンと、同じ画像を入力したときのDNNの信号パターンの間に相同性を発見し、脳からDNNへの信号変換を利用して、任意の物体を脳活動から解読する技術を開発しました。本研究成果は、人工知能モデルをヒトの脳と対応づけ利用する「脳－機械融合知能」の可能性を切り拓くものです。
図：「脳－機械融合知能」の概念図
ヒトの脳と深層ニューラルネットワークを対応づけることで、脳からビッグ・データの利用を可能とする。
詳しい研究内容について
書誌情報
【DOI】 https://doi.org/10.1038/ncomms15037
【KURENAIアクセスURL】 http://hdl.handle.net/2433/224942
Tomoyasu Horikawa, Yukiyasu Kamitani (2017). Generic decoding of seen and imagined objects using hierarchical visual features. Nature Communications, 8, 15037.
- 朝日新聞（5月23日 29面）、京都新聞（5月23日 24面）に掲載されました。
