神戸大学医学部医学科の味岡雄大 (研究当時)、同大学大学院医学研究科生理学分野の中井信裕特命助教、内匠透教授 (理化学研究所生命機能科学研究センター客員主管研究員) らの研究グループは、深層学習モデルを用いて、大脳皮質の広範囲な神経活動を計測した脳機能画像からマウスの歩行や静止といった行動状態を秒単位以下のレベルで高精度に識別することに成功しました。

今後、行動予測のための深層学習モデルを発展させることで、脳機能画像情報を用いたブレインマシンインターフェースの開発につながることが期待されます。

この研究成果は、3月13日に、「PLOS Computational Biology」に掲載されました。

ポイント

• 脳機能画像から行動状態を判定する深層学習モデルを構築
• エンドツーエンド学習により、従来の画像データの前処理や関心領域選択を省略
• ブラックボックス的な深層学習から画像データに含まれる重要な脳領域を可視化

研究の背景

神経解読は脳活動から動物の行動や知覚などを予測するもので、ブレインマシンインターフェース^※1への応用が期待されています。近年では深層学習^※2を用いた神経解読の研究が盛んに行われていますが、脳内に埋め込んだ電極による神経細胞の電気的活動情報を利用した研究が多く、fMRIやカルシウムイメージングなど機能イメージング画像情報を用いて行動を予測する研究は少ない状況です。

高精度な深層学習モデルを構築するためには、従来からノイズを除去するなどのデータの前処理が重要と考えられており、データを直接読み込ませるエンドツーエンド学習^※3での行動の神経解読は困難とされていました。

本研究では、行動中マウスの大脳皮質をカルシウムイメージングで撮影した脳機能画像データを使用し、エンドツーエンド学習に基づいた深層学習による行動予測モデルの構築を行いました。

研究の内容

私たちは神経解読を行うために、先行研究で報告した仮想環境下において行動中のマウスから記録した大脳皮質のカルシウムイメージングの時系列画像データを使用し、深層学習を用いて、マウスの行動 (歩行または静止状態) を識別する行動予測モデルを構築しました (図１A)。深層学習のアーキテクチャには画像認識に有効なCNN (畳み込みニューラルネットワーク) と時系列データ解析に有効なRNN (リカレントニューラルネットワーク) を二層に組み合わせて用いました (図１B)。深層学習には5匹のマウスのデータセットを使用しており、モデルを一般化させるため、学習用に3個体、検証用に1個体、テスト用に1個体に分け、すべての組み合わせで解析を行いました。行動状態の判定に使用される時系列画像データは0.17秒の時間枠に設定しました。すなわち深層学習モデルは0.17秒間の脳機能画像情報を用いて、そのタイミングにおける行動状態を判定していることになります。

解析の結果、深層学習モデルは高精度にマウスの行動状態を判定しており、二値分類モデルの評価指標であるAUC (Area Under the ROC Curve) 値は平均0.95でした (図１C)。これは全テストデータの約95%が正確に行動状態を判定されたことを示します。

また、深層学習では、モデルがどのように画像データから予測結果を判定しているのか不明であり、その中身の多くはブラックボックスです。その点を克服するため、私たちはCut-out-importance^※4という手法を考案し、画像データ中に含まれる行動識別に重要な領域を調べました (図１D)。その結果、大脳皮質の体性感覚野前肢?後肢領域でのimportance scoreが高く、これらの領域情報だけでも高精度に行動状態を識別することが可能であることがわかりました。

今後の展開

本研究では、脳機能画像データを直接深層学習モデルに読み込ませるエンドツーエンド学習の手法を採用しており、行動変化に対応できる高い時間解像度を達成しました。このことはカルシウムイメージング画像には複数の機能領野の情報が含まれており、これらの関係性を深層学習モデルが活用することで短い時間の時系列データでも十分に行動判定できたものと考えられます。将来的に、リアルタイムに近い時間解像度で行動判定ができるようになれば、脳機能画像に基づいたブレインマシンインターフェースの開発につながることが期待されます。

用語解説

※1　ブレインマシンインターフェース

脳の活動情報を基にして機械を操作するために、脳と機械の間をつなぐインターフェースの仕組み。たとえば脳活動を読み取るセンサーや脳信号を解析するプログラムなど。

※2　深層学習 (ディープラーニング)

深層学習は人の脳を模したニューラルネットワークを使用した機械学習であり、入力層と出力層の間に隠れ層を含んだ複数の層構造で成り立つ。CNNとRNNはそれぞれ深層学習で利用されるアーキテクチャの一つで、CNNは特に画像認識に活用され、RNNは時系列情報を含むデータに活用されている。モデルとは、特定のタスクを実行させるために学習させたニューラルネットワークを表す。

※3　エンドツーエンド学習 (end-to-end learning)

人間が指定した特徴量をもとにしてモデルを学習させずに、入力データから結果を出力するまで (端から端まで) の一連の処理過程を機械学習自身が行う学習方法。

※4　Cut-out-importance

画像を区画に分け、その区画に含まれる情報をマスクすることで、モデルの判定精度がどの程度影響を受けるかを数値化したもの。Importance scoreが高いほど影響が大きいことを示す。Zeiler and Fergus, 2014に基づいて開発した手法。

参考文献

Zeiler, M.D., Fergus, R., 2014. Visualizing and Understanding Convolutional Networks, in: Fleet, D., Pajdla, T., Schiele, B., Tuytelaars, T. (Eds.), Computer Vision – ECCV 2014, Lecture Notes in Computer Science. Springer International Publishing, Cham, pp. 818–833.

謝辞

本研究は、日本学術振興会科学研究費補助金 (基盤研究 (S、A)、海外連携研究、若手研究、新学術領域研究 (研究領域提案型))、日本医療研究開発機構「脳とこころの研究推進プログラム (精神?神経疾患メカニズム)」、科学技術振興機構ムーンショット型研究開発事業?目標９、武田科学振興財団特定研究助成などによる支援を受けて行いました。

論文情報

タイトル

“End-to-end deep learning approach to mouse behavior classification from cortex-wide calcium imaging”

DOI

10.1371/journal.pcbi.1011074

著者

Takehiro Ajioka¹, Nobuhiro Nakai¹, Okito Yamashita², Toru Takumi^1,3*

1. Department of Physiology and Cell Biology, Kobe University School of Medicine
2. Department of Computational Brain Imaging, ATR Neural Information Analysis Laboratories
3. RIKEN Center for Biosystems Dynamics Research

掲載誌

PLOS Computational Biology