[發(fā)明專利]基于Shape-Resnet的大腦中高級視覺區(qū)信號處理方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202011472027.2
• 申請日: 2020-12-15
• 公開（公告）號: CN112686098B
• 公開（公告）日: 2023-05-26
• 發(fā)明（設(shè)計）人: 張馳;閆鑌;高輝;丁鵬輝;于子雅;王林元;童莉;崔以博;喬凱;李經(jīng)緯;張歡
• 申請（專利權(quán)）人: 中國人民解放軍戰(zhàn)略支援部隊信息工程大學(xué)
• 主分類號: G06F18/213
• 分類號: G06F18/213;G06N3/0464;G06N3/09
• 代理公司: 鄭州大通專利商標代理有限公司 41111
• 代理人: 周艷巧

本發(fā)明屬于功能磁共振信號處理技術(shù)領(lǐng)域，特別涉及一種基于Shape?Resnet的大腦中高級視覺區(qū)信號處理方法及系統(tǒng)，包含：構(gòu)建視覺編碼模型，該模型包含：用于提取刺激圖像特征的神經(jīng)網(wǎng)絡(luò)和用于將圖像特征映射到預(yù)測fMRI信號的線性回歸模型，其中，神經(jīng)網(wǎng)絡(luò)模型為利用已有數(shù)據(jù)集已完成形狀特征訓(xùn)練學(xué)習(xí)的深度卷積神經(jīng)網(wǎng)絡(luò)模型；利用樣本數(shù)據(jù)對視覺編碼模型進行訓(xùn)練優(yōu)化；利用優(yōu)化后的視覺編碼模型對目標大腦中高級視覺區(qū)信號進行預(yù)測，以分析外部視覺刺激時目標大腦中高級視覺區(qū)信號變化過程。本發(fā)明用學(xué)習(xí)形狀特征的深度網(wǎng)絡(luò)來構(gòu)建高級視覺區(qū)的視覺編碼模型，提升中高級視覺區(qū)大腦信號分析預(yù)測效果。

技術(shù)領(lǐng)域

本發(fā)明屬于功能磁共振信號處理技術(shù)領(lǐng)域，特別涉及一種基于Shape-Resnet的大腦中高級視覺區(qū)信號處理方法及系統(tǒng)。

背景技術(shù)

計算機視覺編碼模型是以大腦的視覺感知機制為基礎(chǔ)，通過建立一個大腦視覺信息處理的可計算編碼模型來表述大腦對外界刺激的響應(yīng)，以實現(xiàn)對大腦活動的預(yù)測，描述人類在感知和分析外部視覺刺激時自身腦信號的變化過程。而基于功能磁共振(functional?MagneticResonance?Imaging,fMRI)的視覺編碼模型主要用于探索大腦視覺信息處理的過程和機制，模型輸入為視覺刺激圖像，輸出則為大腦對圖像特征的響應(yīng)信號。根據(jù)編碼模型架構(gòu)可將其分為“兩步走”模型和“端到端”模型。基于CNN的“端到端”視覺編碼模型是直接訓(xùn)練從視覺刺激到大腦響應(yīng)端到端的深度網(wǎng)絡(luò)。然而由于深度網(wǎng)絡(luò)中的海量參數(shù)及實驗數(shù)據(jù)的限制，這樣做往往不能達到最好的編碼模型訓(xùn)練效果。基于CNN的“兩步走”視覺編碼模型是使用預(yù)訓(xùn)練好的CNN作為特征提取器，然后再訓(xùn)練一個從特征空間到大腦響應(yīng)空間的線性映射來實現(xiàn)。“兩步走”方法實現(xiàn)簡單并能達到一定的編碼準確率。

現(xiàn)有的基于CNN的視覺編碼模型都是從深度網(wǎng)絡(luò)與大腦視覺皮層的層級相似性出發(fā)來實現(xiàn)對大腦活動的預(yù)測，所用的CNN網(wǎng)絡(luò)都是提取了圖像的紋理特征，并沒有結(jié)合人腦視覺處理機制加入形狀特征，所構(gòu)建的視覺編碼模型在低級視覺區(qū)具有一定的編碼準確率，但不能準確對高級視覺區(qū)進行編碼。同時人們對深度網(wǎng)絡(luò)的了解并不透徹，層數(shù)越高的網(wǎng)絡(luò)與大腦視覺皮層的層級相似性逐漸減弱，造成深度網(wǎng)絡(luò)在越高級的視覺區(qū)編碼效果越差。

發(fā)明內(nèi)容

為此，本發(fā)明提供一種基于Shape-Resnet的大腦中高級視覺區(qū)信號處理方法及系統(tǒng)，從人類在進行圖像識別時更傾向于形狀判別出發(fā)，用學(xué)習(xí)形狀特征的深度網(wǎng)絡(luò)來構(gòu)建高級視覺區(qū)的視覺編碼模型，提升中高級視覺區(qū)大腦信號分析識別效果。

按照本發(fā)明所提供的設(shè)計方案，一種基于Shape-Resnet的大腦中高級視覺區(qū)信號處理方法，包含如下內(nèi)容：

構(gòu)建視覺編碼模型，該模型包含：用于提取刺激圖像特征的神經(jīng)網(wǎng)絡(luò)和用于將圖像特征映射到預(yù)測fMRI信號的線性回歸模型，其中，神經(jīng)網(wǎng)絡(luò)模型為利用已有數(shù)據(jù)集已完成形狀特征訓(xùn)練學(xué)習(xí)的深度卷積神經(jīng)網(wǎng)絡(luò)模型；

利用樣本數(shù)據(jù)對視覺編碼模型進行訓(xùn)練優(yōu)化；

利用優(yōu)化后的視覺編碼模型對目標大腦中高級視覺區(qū)信號進行預(yù)測，以分析外部視覺刺激時目標大腦中高級視覺區(qū)信號變化過程。

作為本發(fā)明基于Shape-Resnet的大腦中高級視覺區(qū)信號處理方法，進一步的，神經(jīng)網(wǎng)絡(luò)模型采用Resnet50網(wǎng)絡(luò)結(jié)構(gòu)，并利用收集的SIN數(shù)據(jù)集作為已有數(shù)據(jù)集訓(xùn)練Resnet50，使網(wǎng)絡(luò)充分學(xué)習(xí)圖像的形狀特征。

作為本發(fā)明基于Shape-Resnet的大腦中高級視覺區(qū)信號處理方法，進一步地，通過構(gòu)建多元線性回歸模型，將圖片特征映射到大腦視覺皮層fMRI信號上；該多元線性回歸模型表示為：y＝Xw+ε,其中，X代表神經(jīng)網(wǎng)絡(luò)模型中對應(yīng)的一維特征，y代表實際觀測的fMRI信號，w是待求解的權(quán)重系數(shù)，ε是噪聲項。