[發(fā)明專利]一種基于多維信息融合和深度學(xué)習(xí)的腦部醫(yī)學(xué)影像分析方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201911231451.5
• 申請(qǐng)日: 2019-12-05
• 公開（公告）號(hào): CN110931112B
• 公開（公告）日: 2023-04-18
• 發(fā)明（設(shè)計(jì)）人: 董帥;傅瑜;鄒昆;李文生;李悅喬;谷俊霖;周博倫
• 申請(qǐng)（專利權(quán)）人: 電子科技大學(xué)中山學(xué)院
• 主分類號(hào): G16H30/20
• 分類號(hào): G16H30/20;G06N3/0464
• 代理公司: 中山市粵捷信知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44583
• 代理人: 張謙

1.一種基于多維信息融合和深度學(xué)習(xí)的腦部醫(yī)學(xué)影像分析方法，其特征在于，包括如下步驟：

S1、開發(fā)測(cè)試環(huán)境平臺(tái)搭建：

搭建深度學(xué)習(xí)訓(xùn)練用工作站，配置訓(xùn)練框架；

S2、對(duì)主流深度學(xué)習(xí)算法和網(wǎng)絡(luò)模型進(jìn)行研究：

對(duì)主流的深度學(xué)習(xí)算法、網(wǎng)絡(luò)模型、醫(yī)學(xué)影像分析檢測(cè)框架和數(shù)據(jù)集進(jìn)行測(cè)試，并分析各種深度學(xué)習(xí)算法和卷積網(wǎng)絡(luò)模型在圖像分割、目標(biāo)檢測(cè)和疾病分類分級(jí)方面的優(yōu)缺點(diǎn)；

S3、制作醫(yī)學(xué)影像訓(xùn)練數(shù)據(jù)集、驗(yàn)證數(shù)據(jù)集和測(cè)試數(shù)據(jù)集：

針對(duì)醫(yī)學(xué)影像分析的要求和特點(diǎn)，選擇一定數(shù)量的針對(duì)典型腦部疾病的醫(yī)學(xué)影像作為樣本，對(duì)于同一病歷，采集多種類型、不同角度的醫(yī)學(xué)影像，加注多級(jí)分類標(biāo)簽；

S4、基于多個(gè)深度學(xué)習(xí)網(wǎng)絡(luò)的醫(yī)學(xué)影像分析診斷研究：

基于特定類型的醫(yī)學(xué)影像數(shù)據(jù)集和對(duì)病灶進(jìn)行檢測(cè)、分類和分級(jí)的應(yīng)用需求，分別訓(xùn)練不同的深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)，得到針對(duì)某一特定醫(yī)學(xué)影像的病灶目標(biāo)分割檢測(cè)、分類分級(jí)的初步結(jié)果，然后通過構(gòu)建加權(quán)貝葉斯網(wǎng)絡(luò)，對(duì)多個(gè)初步結(jié)果進(jìn)行處理得到最后的分析診斷結(jié)果；

S5、基于層級(jí)特征融合的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)研究：

借鑒Dense?Net和改進(jìn)的Multi-Scale?Dense?Net，融合利用醫(yī)學(xué)影像不同層次的特征來提升分類分級(jí)的準(zhǔn)確度，對(duì)Multi-Scale?Dense?Net進(jìn)行剪枝處理，以降低網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜度；

設(shè)計(jì)中間層分類網(wǎng)絡(luò)，以提取并融合不同粒度的特征，保證中間層分類具有較高的準(zhǔn)確率；

將中間層分類網(wǎng)絡(luò)提取到的影像特征與Multi-Scale?Dense?Net最后層提取到的特征進(jìn)行融合，在網(wǎng)絡(luò)最后層進(jìn)行病灶目標(biāo)分類分級(jí)；

S6、基于多維度醫(yī)學(xué)影像信息融合研究：

采用針對(duì)同一病癥的sMRI、fMRI和PET的多種醫(yī)學(xué)影像，對(duì)這些影像進(jìn)行配準(zhǔn)，然后利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)它們提取相應(yīng)特征，并對(duì)不同類型的醫(yī)學(xué)影像提取的特征進(jìn)行融合，以獲得更加豐富的病灶目標(biāo)的特征；

對(duì)融合后的特征進(jìn)行降維，減少冗余特征，同時(shí)確保關(guān)鍵特征不會(huì)丟失，最后再通過一個(gè)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行最后的分類分級(jí)，以保證分析診斷的準(zhǔn)確率。

2.根據(jù)權(quán)利要求1所述的一種基于多維信息融合和深度學(xué)習(xí)的腦部醫(yī)學(xué)影像分析方法，其特征在于，在S5中：

將sMRI、fMRI和PET的醫(yī)學(xué)影像輸入改進(jìn)后的Muti-Scale?DenseNet中，經(jīng)過中間層分類網(wǎng)絡(luò)后得到腦部疾病的大類別，同時(shí)得到用于大分類的目標(biāo)特征；

將中間層網(wǎng)絡(luò)提取得到的目標(biāo)特征與主干網(wǎng)絡(luò)提取到的特征進(jìn)行融合，獲得關(guān)于目標(biāo)不同分類級(jí)別的特征；

基于不同級(jí)別的特征預(yù)測(cè)目標(biāo)的病癥的分級(jí)結(jié)果。

3.根據(jù)權(quán)利要求1所述的一種基于多維信息融合和深度學(xué)習(xí)的腦部醫(yī)學(xué)影像分析方法，其特征在于，獲取的病灶目標(biāo)的特征包括結(jié)構(gòu)特征和代謝特征。

4.根據(jù)權(quán)利要求1所述的一種基于多維信息融合和深度學(xué)習(xí)的腦部醫(yī)學(xué)影像分析方法，其特征在于，還包括：

S7、在構(gòu)建腦部疾病數(shù)據(jù)庫和腦部疾病分析框架和網(wǎng)絡(luò)模型的基礎(chǔ)上，開發(fā)腦部疾病分析診斷系統(tǒng)。

5.根據(jù)權(quán)利要求4所述的一種基于多維信息融合和深度學(xué)習(xí)的腦部醫(yī)學(xué)影像分析方法，其特征在于，將腦部疾病分析診斷系統(tǒng)集成在能夠聯(lián)網(wǎng)的便攜式移動(dòng)設(shè)備中，移動(dòng)設(shè)備中內(nèi)置有數(shù)據(jù)共享模塊，以共享醫(yī)學(xué)影像信息和對(duì)應(yīng)的診斷結(jié)果，提高信息交換效率。

6.根據(jù)權(quán)利要求1所述的一種基于多維信息融合和深度學(xué)習(xí)的腦部醫(yī)學(xué)影像分析方法，其特征在于，通過對(duì)腦部結(jié)構(gòu)、病癥位置、病癥分類和分級(jí)等信息進(jìn)行標(biāo)注，來構(gòu)建專用訓(xùn)練數(shù)據(jù)集。

7.根據(jù)權(quán)利要求1所述的一種基于多維信息融合和深度學(xué)習(xí)的腦部醫(yī)學(xué)影像分析方法，其特征在于，開發(fā)自動(dòng)標(biāo)注工具，在加注多級(jí)分類標(biāo)簽時(shí)，能對(duì)數(shù)據(jù)集自動(dòng)進(jìn)行多級(jí)分類標(biāo)記，降低數(shù)據(jù)集標(biāo)注工作量。

8.根據(jù)權(quán)利要求1所述的一種基于多維信息融合和深度學(xué)習(xí)的腦部醫(yī)學(xué)影像分析方法，其特征在于，針對(duì)醫(yī)學(xué)影像的分析要求包括對(duì)醫(yī)學(xué)影像的檢測(cè)定位、分割、分類和分析共四種要求。