[發(fā)明專利]一種基于深度學(xué)習(xí)的3D心室核磁共振視頻分割優(yōu)化系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202210035567.7
• 申請日: 2022-01-13
• 公開（公告）號: CN114359310A
• 公開（公告）日: 2022-04-15
• 發(fā)明（設(shè)計(jì)）人: 董舜杰;潘子宣;卓成;付鈺
• 申請（專利權(quán)）人: 浙江大學(xué)
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06N3/04;G06N3/08
• 代理公司: 杭州求是專利事務(wù)所有限公司 33200
• 代理人: 劉靜

1.一種基于深度學(xué)習(xí)的3D心室核磁共振視頻分割優(yōu)化系統(tǒng)，其特征在于，該系統(tǒng)包括3D心室核磁共振MRI視頻數(shù)據(jù)預(yù)處理模塊、可變形卷積的深度注意力網(wǎng)絡(luò)DeU-Net和圖像檢測模塊；

所述3D心室核磁共振MRI視頻數(shù)據(jù)預(yù)處理模塊對現(xiàn)有的3D心室MRI視頻數(shù)據(jù)集中各幀MRI圖像做歸一化處理；輸入到可變形卷積的深度注意力網(wǎng)絡(luò)DeU-Net；

所述可變形卷積的深度注意力網(wǎng)絡(luò)DeU-Net包括深度時(shí)空可變形卷積融合模塊TDAM，增強(qiáng)可變形卷積注意力網(wǎng)絡(luò)EDAN和概率噪聲校正模塊PNCM：

所述深度時(shí)空可變形卷積融合模塊TDAM：該模塊包含一個(gè)U-Net網(wǎng)絡(luò)和一個(gè)可變形卷積層；U-Net網(wǎng)絡(luò)以3D心室MRI視頻數(shù)據(jù)集作為輸入，輸出為MRI視頻段中圖像的高維特征補(bǔ)償區(qū)域，可變形卷積層以3D心室MRI視頻數(shù)據(jù)集和高維特征補(bǔ)償區(qū)域?yàn)檩斎耄玫窖a(bǔ)償后的圖像的高維特征；

所述增強(qiáng)可變形卷積注意力網(wǎng)絡(luò)EDAN：該模塊包含一個(gè)下采樣通道和一個(gè)上采樣通道。EDAN以TDAM輸出的圖像的高維特征作為輸入，經(jīng)過L層下采樣得到特征經(jīng)過卷積得到上采樣通道中第L層的原始特征與拼接后得到和共同輸入到DeConv(a)模塊，所述DeConv(a)模塊通過可變形卷積得到偏移Δ_L和融合后的第L層特征具體計(jì)算為：

上采樣通道第i層的原始特征均與下采樣通道中對應(yīng)層的特征拼接得到Δ_i+1，共同輸入DeConv(b)模塊，其中i∈[1,L-1]；最終得到上采樣通道最后一層的融合后的特征

所述DeConv(b)模塊包含多尺度注意力模塊MSAM和一個(gè)可變形卷積層；與Δ_i+1拼接后在進(jìn)行卷積得到Δ_i，MSAM的輸入為與Δ_i進(jìn)行可變形卷積后的特征x(H×W)和卷積后的特征其中H和W分別代表輸入特征的高度和寬度；MSAM的計(jì)算公式為：

其中k和j為輸入x，y以及輸出z的索引，k∈[1,H]，σ(·)為用來歸一化的標(biāo)量函數(shù)，φ(·)為計(jì)算x和y之間配對相關(guān)性的函數(shù)；θ(·)為特征轉(zhuǎn)換函數(shù)；

將進(jìn)行雙線性插值后的特征與z以及x(H×W)進(jìn)行拼接，之后卷積得到

所述概率噪聲校正模塊PNCM：該模塊包括一個(gè)由卷積層構(gòu)成的共享權(quán)重的孿生神經(jīng)網(wǎng)絡(luò)、兩個(gè)由全連接層構(gòu)成的獨(dú)立的特征提取層和重參數(shù)操作。孿生神經(jīng)網(wǎng)絡(luò)以TDAM輸出的圖像的高維特征作為輸入，其輸出分別輸入到兩個(gè)特征提取層進(jìn)行特征提取，一個(gè)特征提取層輸出為輸入圖像的高維特征的均值，另一個(gè)特征提取層輸出為輸入圖像的高維特征的方差，將方差通過重參數(shù)操作加上均值后生成嵌入向量作為最終輸出；

所述圖像檢測模塊用于3D心室區(qū)域分割，利用訓(xùn)練好的可變形卷積的深度注意力網(wǎng)絡(luò)DeU-Net計(jì)算測試集3D心室MRI圖像的概率熱圖。具體為，將EDAN得到的特征圖與PNCM得到的嵌入向量拼接后，通過卷積層得到概率熱圖。通過分割概率對每一張心室MRI圖像對應(yīng)的概率熱圖進(jìn)行分割，獲得分割結(jié)果，即左心室區(qū)域、心肌區(qū)域和右心室區(qū)域。

2.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的3D心室核磁共振視頻分割優(yōu)化系統(tǒng)，其特征在于，所述數(shù)據(jù)增強(qiáng)模塊在圖像處理過程中，通過旋轉(zhuǎn)、調(diào)節(jié)對比度以及縮放的方式擴(kuò)充數(shù)據(jù)集，將3D心室MRI視頻分為x,y,z,t四個(gè)方向，其中x,y,z代表空間坐標(biāo)系，t代表時(shí)間軸，選用x-y平面的視頻幀。

3.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的3D心室核磁共振視頻分割優(yōu)化系統(tǒng)，其特征在于，在各幀MRI圖像輸入Deformable U-Net網(wǎng)絡(luò)前，選用目標(biāo)幀沿時(shí)間t軸方向的前后r幀作為Deformable U-Net網(wǎng)絡(luò)輸入，即2r+1幀MRI圖像。