[發(fā)明專利]基于雙重密集上下文感知網(wǎng)絡(luò)的核磁共振海馬體分割算法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010013999.9
• 申請(qǐng)日: 2020-01-07
• 公開（公告）號(hào): CN111223113B
• 公開（公告）日: 2023-04-18
• 發(fā)明（設(shè)計(jì)）人: 時(shí)佳麗;郭立君;張榮;陸林花
• 申請(qǐng)（專利權(quán)）人: 寧波大學(xué)
• 主分類號(hào): G06T7/11
• 分類號(hào): G06T7/11;G06V10/80;G06V10/82;G06N3/0464;G06N3/0455
• 代理公司: 寧波奧圣專利代理有限公司 33226
• 代理人: 周玨

1.一種基于雙重密集上下文感知網(wǎng)絡(luò)的核磁共振海馬體分割算法，其特征在于包括以下步驟：

步驟1：選取K幅核磁共振海馬體圖像及每幅核磁共振海馬體圖像對(duì)應(yīng)的標(biāo)準(zhǔn)分割圖像；其中，K為正整數(shù)，K≥100，每幅核磁共振海馬體圖像及其對(duì)應(yīng)的標(biāo)準(zhǔn)分割圖像的寬度為W且高度為H；

步驟2：將每幅核磁共振海馬體圖像及其對(duì)應(yīng)的標(biāo)準(zhǔn)分割圖像分別切割成個(gè)尺寸為N₁×N₁的二維圖像塊；并將每幅核磁共振海馬體圖像及其對(duì)應(yīng)的標(biāo)準(zhǔn)分割圖像分別切割成個(gè)尺寸為N₂×N₂的二維圖像塊；將每幅核磁共振海馬體圖像及其對(duì)應(yīng)的標(biāo)準(zhǔn)分割圖像分別切割成個(gè)尺寸為N₃×N₃的二維圖像塊；其中，N₁、N₂、N₃均為正整數(shù)，N₁＝2N₂，N₂＝2N₃，N₃≥3，N₁＜min(W,H)，min()為取最小值函數(shù)，W和H均能被N₃整除；

步驟3：根據(jù)每幅標(biāo)準(zhǔn)分割圖像中的每個(gè)不同尺寸的二維圖像塊判定對(duì)應(yīng)的核磁共振海馬體圖像中對(duì)應(yīng)位置的同尺寸的二維圖像塊為有效塊還是為無效塊，對(duì)于第k幅核磁共振海馬體圖像中的第i₁個(gè)尺寸為N₁×N₁的二維圖像塊，若第k幅核磁共振海馬體圖像對(duì)應(yīng)的標(biāo)準(zhǔn)分割圖像中的第i₁個(gè)尺寸為N₁×N₁的二維圖像塊中的所有像素點(diǎn)的像素值全為0，則判定第k幅核磁共振海馬體圖像中的第i₁個(gè)尺寸為N₁×N₁的二維圖像塊為無效塊，否則，判定第k幅核磁共振海馬體圖像中的第i₁個(gè)尺寸為N₁×N₁的二維圖像塊為有效塊；同樣，對(duì)于第k幅核磁共振海馬體圖像中的第i₂個(gè)尺寸為N₂×N₂的二維圖像塊，若第k幅核磁共振海馬體圖像對(duì)應(yīng)的標(biāo)準(zhǔn)分割圖像中的第i₂個(gè)尺寸為N₂×N₂的二維圖像塊中的所有像素點(diǎn)的像素值全為0，則判定第k幅核磁共振海馬體圖像中的第i₂個(gè)尺寸為N₂×N₂的二維圖像塊為無效塊，否則，判定第k幅核磁共振海馬體圖像中的第i₂個(gè)尺寸為N₂×N₂的二維圖像塊為有效塊；對(duì)于第k幅核磁共振海馬體圖像中的第i₃個(gè)尺寸為N₃×N₃的二維圖像塊，若第k幅核磁共振海馬體圖像對(duì)應(yīng)的標(biāo)準(zhǔn)分割圖像中的第i₃個(gè)尺寸為N₃×N₃的二維圖像塊中的所有像素點(diǎn)的像素值全為0，則判定第k幅核磁共振海馬體圖像中的第i₃個(gè)尺寸為N₃×N₃的二維圖像塊為無效塊，否則，判定第k幅核磁共振海馬體圖像中的第i₃個(gè)尺寸為N₃×N₃的二維圖像塊為有效塊；其中，1≤k≤K，

步驟4：對(duì)每幅核磁共振海馬體圖像中的不同尺寸的有效塊分別進(jìn)行旋轉(zhuǎn)、鏡像、彈性扭曲和膨脹四種數(shù)據(jù)增強(qiáng)處理，得到每個(gè)有效塊對(duì)應(yīng)的4個(gè)增強(qiáng)處理后的結(jié)果，并將每個(gè)有效塊對(duì)應(yīng)的4個(gè)增強(qiáng)處理后的結(jié)果也作為有效塊；

步驟5：在步驟4的基礎(chǔ)上，對(duì)每個(gè)有效塊進(jìn)行歸一化處理，使歸一化處理后的每個(gè)有效塊中的每個(gè)像素點(diǎn)的像素值在[0，1]區(qū)間范圍內(nèi)；然后將歸一化處理后的所有有效塊構(gòu)成有效塊集；

步驟6：搭建雙重密集上下文感知網(wǎng)絡(luò)：該雙重密集上下文感知網(wǎng)絡(luò)由用于捕捉海馬體圖像內(nèi)容的編碼框架和用于恢復(fù)海馬體邊界信息的解碼框架組成；編碼框架包括輸入層和隱層，輸入層由3個(gè)子輸入層構(gòu)成，隱層由10個(gè)神經(jīng)網(wǎng)絡(luò)塊和1個(gè)多尺度輸入信息融合層構(gòu)成；解碼框架包括隱層和輸出層，隱層由5個(gè)反卷積層、6個(gè)多分辨率特征融合層和5個(gè)神經(jīng)網(wǎng)絡(luò)塊構(gòu)成；其中，第1個(gè)反卷積層的卷積核數(shù)目為2048、卷積核大小為4×4、補(bǔ)零參數(shù)的值為1、步長為2，第2個(gè)反卷積層的卷積核數(shù)目為1024、卷積核大小為4×4、補(bǔ)零參數(shù)的值為1、步長為2，第3個(gè)反卷積層的卷積核數(shù)目為512、卷積核大小為4×4、補(bǔ)零參數(shù)的值為1、步長為2，第4個(gè)反卷積層的卷積核數(shù)目為256、卷積核大小為4×4、補(bǔ)零參數(shù)的值為1、步長為2，第5個(gè)反卷積層的卷積核數(shù)目為128、卷積核大小為4×4、補(bǔ)零參數(shù)的值為1、步長為2；

對(duì)于編碼框架中的輸入層，第1個(gè)子輸入層的輸入端接收一幅尺寸為N₁×N₁的第一圖像，第1個(gè)子輸入層的輸出端輸出一幅尺寸為N₁×N₁的圖像給編碼框架中的隱層；第2個(gè)子輸入層的輸入端接收一幅尺寸為N₂×N₂的第二圖像，第2個(gè)子輸入層的輸出端輸出一幅尺寸為N₂×N₂的圖像給編碼框架中的隱層；第3個(gè)子輸入層的輸入端接收一幅尺寸為N₃×N₃的第三圖像，第3個(gè)子輸入層的輸出端輸出一幅尺寸為N₃×N₃的圖像給編碼框架中的隱層；

對(duì)于編碼框架中的隱層，第1個(gè)神經(jīng)網(wǎng)絡(luò)塊的輸入端接收第1個(gè)子輸入層的輸出端輸出的一幅尺寸為N₁×N₁的圖像，第1個(gè)神經(jīng)網(wǎng)絡(luò)塊的輸出端輸出32幅尺寸為的特征圖，將這32幅特征圖構(gòu)成的集合記為S₁；第2個(gè)神經(jīng)網(wǎng)絡(luò)塊的輸入端接收S₁中的所有特征圖，第2個(gè)神經(jīng)網(wǎng)絡(luò)塊的輸出端輸出64幅尺寸為的特征圖，將這64幅特征圖構(gòu)成的集合記為S₂；第3個(gè)神經(jīng)網(wǎng)絡(luò)塊的輸入端接收S₂中的所有特征圖，第3個(gè)神經(jīng)網(wǎng)絡(luò)塊的輸出端輸出128幅尺寸為的特征圖，將這128幅特征圖構(gòu)成的集合記為S₃；第4個(gè)神經(jīng)網(wǎng)絡(luò)塊的輸入端接收第2個(gè)子輸入層的輸出端輸出的一幅尺寸為N₂×N₂的圖像，第4個(gè)神經(jīng)網(wǎng)絡(luò)塊的輸出端輸出64幅尺寸為的特征圖，將這64幅特征圖構(gòu)成的集合記為S₄；第5個(gè)神經(jīng)網(wǎng)絡(luò)塊的輸入端接收S₄中的所有特征圖，第5個(gè)神經(jīng)網(wǎng)絡(luò)塊的輸出端輸出128幅尺寸為的特征圖，將這128幅特征圖構(gòu)成的集合記為S₅；第6個(gè)神經(jīng)網(wǎng)絡(luò)塊的輸入端接收第3個(gè)子輸入層的輸出端輸出的一幅尺寸為N₃×N₃的圖像，第6個(gè)神經(jīng)網(wǎng)絡(luò)塊的輸出端輸出128幅尺寸為N₃×N₃的特征圖，將這128幅特征圖構(gòu)成的集合記為S₆；對(duì)S₃中的所有特征圖、S₅中的所有特征圖和S₆中的所有特征圖進(jìn)行Concat操作，將Concat操作后得到的所有特征圖構(gòu)成的集合記為C₁，C₁中包含有384幅尺寸為N₃×N₃的特征圖；多尺度輸入信息融合層的輸入端接收C₁中的所有特征圖，多尺度輸入信息融合層的輸出端輸出128幅尺寸為N₃×N₃的特征圖，將這128幅特征圖構(gòu)成的集合記為C₂；第7個(gè)神經(jīng)網(wǎng)絡(luò)塊的輸入端接收C₂中的所有特征圖，第7個(gè)神經(jīng)網(wǎng)絡(luò)塊的輸出端輸出256幅尺寸為的特征圖，將這256幅特征圖構(gòu)成的集合記為S₇；第8個(gè)神經(jīng)網(wǎng)絡(luò)塊的輸入端接收S₇中的所有特征圖，第8個(gè)神經(jīng)網(wǎng)絡(luò)塊的輸出端輸出512幅尺寸為的特征圖，將這512幅特征圖構(gòu)成的集合記為S₈；第9個(gè)神經(jīng)網(wǎng)絡(luò)塊的輸入端接收S₈中的所有特征圖，第9個(gè)神經(jīng)網(wǎng)絡(luò)塊的輸出端輸出1024幅尺寸為的特征圖，將這1024幅特征圖構(gòu)成的集合記為S₉；第10個(gè)神經(jīng)網(wǎng)絡(luò)塊的輸入端接收S₉中的所有特征圖，第10個(gè)神經(jīng)網(wǎng)絡(luò)塊的輸出端輸出2048幅尺寸為的特征圖，將這2048幅特征圖構(gòu)成的集合記為S₁₀；

對(duì)于解碼框架中的隱層，第1個(gè)反卷積層的輸入端接收S₁₀中的所有特征圖，第1個(gè)反卷積層的輸出端輸出2048幅尺寸為的特征圖，將這2048幅特征圖構(gòu)成的集合記為B₁；對(duì)S₈中的所有特征圖和B₁中的所有特征圖進(jìn)行Concat操作，將Concat操作后得到的所有特征圖構(gòu)成的集合記為F₁，F(xiàn)₁中包含有2560幅尺寸為的特征圖；第1個(gè)多分辨率特征融合層的輸入端接收F₁中的所有特征圖，第1個(gè)多分辨率特征融合層的輸出端輸出2048幅尺寸為的特征圖，將這2048幅特征圖構(gòu)成的集合記為F₂；第1個(gè)神經(jīng)網(wǎng)絡(luò)塊的輸入端接收F₂中的所有特征圖，第1個(gè)神經(jīng)網(wǎng)絡(luò)塊的輸出端輸出2048幅的特征圖，將這2048幅特征圖構(gòu)成的集合記為Q₁；第2個(gè)反卷積層的輸入端接收Q₁中的所有特征圖，第2個(gè)反卷積層的輸出端輸出1024幅尺寸為的特征圖，將這1024幅特征圖構(gòu)成的集合記為B₂；對(duì)S₇中的所有特征圖和B₂中的所有特征圖進(jìn)行Concat操作，將Concat操作后得到的所有特征圖構(gòu)成的集合記為F₃，F(xiàn)₃中包含有1280幅尺寸為的特征圖；第2個(gè)多分辨率特征融合層的輸入端接收F₃中的所有特征圖，第2個(gè)多分辨率特征融合層的輸出端輸出1024幅尺寸為的特征圖，將這1024幅特征圖構(gòu)成的集合記為F₄；第2個(gè)神經(jīng)網(wǎng)絡(luò)塊的輸入端接收F₄中的所有特征圖，第2個(gè)神經(jīng)網(wǎng)絡(luò)塊的輸出端輸出1024幅尺度為的特征圖，將這1024幅特征圖構(gòu)成的集合記為Q₂；第3個(gè)反卷積層的輸入端接收Q₂中的所有特征圖，第3個(gè)反卷積層的輸出端輸出512幅尺寸為N₃×N₃的特征圖，將這512幅特征圖構(gòu)成的集合記為B₃；對(duì)C₂中的所有特征圖和B₃中的所有特征圖進(jìn)行Concat操作，將Concat操作后得到的所有特征圖構(gòu)成的集合記為F₅，F(xiàn)₅中包含有640幅尺寸為N₃×N₃的特征圖；第3個(gè)多分辨率特征融合層的輸入端接收F₅中的所有特征圖，第3個(gè)多分辨率特征融合層的輸出端輸出512幅尺寸為N₃×N₃的特征圖，將這512幅特征圖構(gòu)成的集合記為F₆；第3個(gè)神經(jīng)網(wǎng)絡(luò)塊的輸入端接收F₆中的所有特征圖，第3個(gè)神經(jīng)網(wǎng)絡(luò)塊的輸出端輸出512幅尺寸為N₃×N₃的特征圖，將這512幅特征圖構(gòu)成的集合記為Q₃；對(duì)S₆中的所有特征圖和Q₃中的所有特征圖進(jìn)行Concat操作，將Concat操作后得到的所有特征圖構(gòu)成的集合記為F₇，F(xiàn)₇中包含有640幅尺寸為N₃×N₃的特征圖；第4個(gè)多分辨率特征融合層的輸入端接收F₇中的所有特征圖，第4個(gè)多分辨率特征融合層的輸出端輸出512幅尺寸為N₃×N₃的特征圖，將這512幅特征圖構(gòu)成的集合記為F₈；第4個(gè)反卷積層的輸入端接收F₈中的所有特征圖，第4個(gè)反卷積層的輸出端輸出256幅尺寸為N₂×N₂的特征圖，將這256幅特征圖構(gòu)成的集合記為B₄；對(duì)第2個(gè)子輸入層的輸出端輸出的圖像和B₄中的所有特征圖進(jìn)行Concat操作，將Concat操作后得到的所有特征圖構(gòu)成的集合記為F₉，F(xiàn)₉中包含有257幅尺寸為N₂×N₂的特征圖；第5個(gè)多分辨率特征融合層的輸入端接收F₉中的所有特征圖，第5個(gè)多分辨率特征融合層的輸出端輸出256幅尺寸為N₂×N₂的特征圖，將這256幅特征圖構(gòu)成的集合記為F₁₀；第4個(gè)神經(jīng)網(wǎng)絡(luò)塊的輸入端接收F₁₀中的所有特征圖，第4個(gè)神經(jīng)網(wǎng)絡(luò)塊的輸出端輸出256幅尺寸為N₂×N₂的特征圖，將這256幅特征圖構(gòu)成的集合記為Q₄；第5個(gè)反卷積層的輸入端接收Q₄中的所有特征圖，第5個(gè)反卷積層的輸出端輸出128幅尺寸為N₁×N₁的特征圖，將這128幅特征圖構(gòu)成的集合記為B₅；對(duì)第1個(gè)子輸入層的輸出端輸出的圖像和B₅中的所有特征圖進(jìn)行Concat操作，將Concat操作后得到的所有特征圖構(gòu)成的集合記為F₁₁，F(xiàn)₁₁中包含有129幅尺寸為N₁×N₁的特征圖；第6個(gè)多分辨率特征融合層的輸入端接收F₁₁中的所有特征圖，第6個(gè)多分辨率特征融合層的輸出端輸出128幅尺寸為N₁×N₁的特征圖，將這128幅特征圖構(gòu)成的集合記為F₁₂；第5個(gè)神經(jīng)網(wǎng)絡(luò)塊的輸入端接收F₁₂中的所有特征圖，第5個(gè)神經(jīng)網(wǎng)絡(luò)塊的輸出端輸出128幅尺寸為N₁×N₁的特征圖，將這128幅特征圖構(gòu)成的集合記為Q₅；

對(duì)于解碼框架中的輸出層，輸出層的輸入端接收Q₅中的所有特征圖，輸出層的輸出端輸出其接收的特征圖，并作為分割結(jié)果圖；

步驟7：隨機(jī)將有效塊集中80％以上的尺寸為N₁×N₁的有效塊、80％以上的尺寸為N₂×N₂的有效塊、80％以上的尺寸為N₃×N₃的有效塊構(gòu)成訓(xùn)練集，將有效塊集中剩余的尺寸為N₁×N₁的有效塊、尺寸為N₂×N₂的有效塊、尺寸為N₃×N₃的有效塊構(gòu)成測(cè)試集；然后將訓(xùn)練集中的每個(gè)尺寸為N₁×N₁的有效塊作為第一圖像輸入到雙重密集上下文感知網(wǎng)絡(luò)中，將訓(xùn)練集中的每個(gè)尺寸為N₂×N₂的有效塊作為第二圖像輸入到雙重密集上下文感知網(wǎng)絡(luò)中，將訓(xùn)練集中的每個(gè)尺寸為N₃×N₃的有效塊作為第三圖像輸入到雙重密集上下文感知網(wǎng)絡(luò)中，以第一圖像為主且以第二圖像和第三圖像為輔對(duì)雙重密集上下文感知網(wǎng)絡(luò)進(jìn)行訓(xùn)練，訓(xùn)練結(jié)束后得到訓(xùn)練集中的每個(gè)尺寸為N₁×N₁的有效塊對(duì)應(yīng)的分割結(jié)果圖；

步驟8：將訓(xùn)練集中的所有尺寸為N₁×N₁的有效塊對(duì)應(yīng)的分割結(jié)果圖構(gòu)成的集合記為Ω_pre；并將所有標(biāo)準(zhǔn)分割圖像中與訓(xùn)練集中的尺寸為N₁×N₁的有效塊相同位置的同尺寸的二維圖像塊構(gòu)成的集合記為Ω_true；然后計(jì)算Ω_pre與Ω_true之間的損失函數(shù)值；

步驟9：重復(fù)執(zhí)行步驟7和步驟8共N次，得到雙重密集上下文感知網(wǎng)絡(luò)訓(xùn)練模型，并得到N個(gè)損失函數(shù)值；然后從N個(gè)損失函數(shù)值中找出值最小的損失函數(shù)值；接著將值最小的損失函數(shù)值對(duì)應(yīng)的權(quán)值矢量和偏置項(xiàng)作為雙重密集上下文感知網(wǎng)絡(luò)訓(xùn)練模型的最優(yōu)權(quán)值矢量和最優(yōu)偏置項(xiàng)，對(duì)應(yīng)記為ω_best和b_best；其中，N＞1；

步驟10：將測(cè)試集中的每個(gè)尺寸為N₁×N₁的有效塊作為第一圖像輸入到雙重密集上下文感知網(wǎng)絡(luò)訓(xùn)練模型中，將測(cè)試集中的每個(gè)尺寸為N₂×N₂的有效塊作為第二圖像輸入到雙重密集上下文感知網(wǎng)絡(luò)訓(xùn)練模型中，將測(cè)試集中的每個(gè)尺寸為N₃×N₃的有效塊作為第三圖像輸入到雙重密集上下文感知網(wǎng)絡(luò)訓(xùn)練模型中，并利用ω_best和b_best進(jìn)行預(yù)測(cè)，得到測(cè)試集中的每個(gè)尺寸為N₁×N₁的有效塊對(duì)應(yīng)的分割結(jié)果圖。