[發明專利]基于離散表征和條件自回歸的fMRI視覺重構方法

在審

• 申請號: 202011006599.1
• 申請日: 2020-09-23
• 公開（公告）號: CN112233199A
• 公開（公告）日: 2021-01-15
• 發明（設計）人: 王林元;喬凱;陳健;梁寧寧;張馳;魏月納;石舒豪;童莉;閆鑌
• 申請（專利權）人: 中國人民解放軍戰略支援部隊信息工程大學
• 主分類號: G06T11/00
• 分類號: G06T11/00;G06N3/04
• 代理公司: 鄭州大通專利商標代理有限公司 41111
• 代理人: 張立強

本發明提供一種基于離散表征和條件自回歸的fMRI視覺重構方法。該方法包括：步驟1：構建圖像離散表征模型和圖像重構模型；步驟2：構建fMRI視覺重構數據集，所述數據集包含訓練集和測試集，訓練集包含第一套圖像和被試看到第一套圖像刺激后的第一套fMRI腦信號；所述測試集包含第二套圖像和被試看到第二套圖像刺激后的第二套fMRI腦信號；步驟3：根據訓練集和圖像離散表征模型，構建fMRI腦信號到圖像離散表征的條件自回歸模型；步驟4：根據條件自回歸模型和圖像重構模型，得到第二套fMRI腦信號的視覺重構結果。本發明主要面向復雜自然圖像的重構。

技術領域

本發明涉及視覺重構技術領域，尤其涉及一種基于離散表征和條件自回歸的fMRI視覺重構方法。

背景技術

基于fMRI的視覺重構是基于fMRI的視覺信息解碼的關鍵技術，旨在根據大腦皮層神經信息來重構出圖像刺激，是大腦視覺解碼中最困難的問題。引起視覺重構困難的原因主要包括噪聲、高維、信息缺失。在fMRI數據采集過程中，機器、被試等各類噪聲不可避免被引入；大腦皮層體素數量較大；由于大腦視覺信息處理過程中存在不變性造成體素中包含的視覺信息缺失，導致大腦信號到視覺刺激圖像的一對多的問題。這些問題一直影響著視覺重構的質量。

現有的fMRI視覺重構方法可以大致分為基于貝葉斯理論的方式、基于刺激圖像像素建模的方式、基于可逆特征表達的方式和基于生成對抗網絡的方式這四種。

(1)基于貝葉斯理論的視覺重構

在貝葉斯框架下，可以通過最大化后驗概率P(S|R)實現圖像重構，其中S代表待重構圖像，R代表體素，然而P(S|R)較難得到。在貝葉斯公式P(S|R)＝P(R|S)P(S)/P(R)中，條件概率P(R|S)代表已知圖像S下體素響應R的可能性，反映了編碼模型概率分布，P(S)表示圖像的先驗概率分布。因此，最大化后驗概率P(S|R)可以轉化成最大化編碼概率和先驗分布概率的乘積，即從貝葉斯理論出發解決重構問題。

2006年，Thirion等人根據貝葉斯理論實現了多米諾骨牌簡單圖像的重構。2009年，Naselaris等人對自然圖像視覺刺激進行重構，考慮到自然圖像包含了豐富的統計結構和語義內容，因此，根據基于預先構造的結構性編碼模型和語義編碼模型，通過貝葉斯準則和自然圖像先驗信息實現了自然圖像視覺刺激的重構。2011年，Nishimoto等人(Nishimoto,S.,et al.,Reconstructing visual experiences from brain activityevoked by natural movies.Current Biology,2011.21(19):p.1641-1646.)采集被試觀看視頻序列時的fMRI信號，通過聯合Gabor小波特征和運動能量特征實現了更好的編碼模型。依靠編碼模型，分別依據最大后驗概率準則(maximum a posteriori，MAP)的方法實現了視覺刺激圖像的重構。

(2)基于刺激圖像像素建模的視覺重構

基于刺激圖像像素建模的視覺重構，一般是直接構建從所有大腦體素到圖像像素的映射關系，通過優化求解的方法確定每個大腦體素到像素映射的權重系數。