[發(fā)明專利]超聲甲狀腺結(jié)節(jié)樣例豐富及良惡性自動(dòng)輔助識(shí)別系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110556851.4
• 申請(qǐng)日: 2021-05-21
• 公開(kāi)（公告）號(hào): CN113314215A
• 公開(kāi)（公告）日: 2021-08-27
• 發(fā)明（設(shè)計(jì)）人: 王睿;周昊源;周萌;付鵬;白洋
• 申請(qǐng)（專利權(quán)）人: 北京航空航天大學(xué)
• 主分類號(hào): G16H50/20
• 分類號(hào): G16H50/20;G06N3/04;G06N3/08;G06T7/00
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

1.超聲甲狀腺結(jié)節(jié)樣例豐富及良惡性自動(dòng)輔助識(shí)別系統(tǒng)，其特征在于：包括如下步驟：

步驟一：收集甲狀腺結(jié)節(jié)患者的超聲原始圖像及其對(duì)應(yīng)的病理報(bào)告，并對(duì)超聲圖像甲狀腺結(jié)節(jié)區(qū)域進(jìn)行標(biāo)注，構(gòu)建超聲甲狀腺結(jié)節(jié)數(shù)據(jù)庫(kù)；

步驟二：基于UNet網(wǎng)絡(luò)結(jié)構(gòu)實(shí)現(xiàn)對(duì)步驟一中超聲甲狀腺結(jié)節(jié)圖像的自動(dòng)分割，得到超聲圖像ROI區(qū)域。

步驟三：基于條件變分自編碼機(jī)來(lái)生成超聲圖像，擬合步驟二甲狀腺結(jié)節(jié)分割后圖像的條件概率分布，豐富步驟四分類網(wǎng)絡(luò)訓(xùn)練所需的良性超聲圖像樣本數(shù)據(jù)。

步驟四：基于SE-ResNet50網(wǎng)絡(luò)結(jié)構(gòu)對(duì)甲狀腺結(jié)節(jié)進(jìn)行特征提取，結(jié)合超聲診斷甲狀腺結(jié)節(jié)內(nèi)外部回聲、縱橫比、邊界邊緣等臨床特征對(duì)步驟二的輸出圖像進(jìn)行處理，將處理后的圖像作為訓(xùn)練甲狀腺結(jié)節(jié)分類網(wǎng)絡(luò)的輸入圖像，并對(duì)三分支多特征卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行驗(yàn)證及測(cè)試，實(shí)現(xiàn)對(duì)甲狀腺結(jié)節(jié)的良惡性自動(dòng)分類。

2.根據(jù)權(quán)利要求1所述的一種超聲甲狀腺結(jié)節(jié)樣例豐富及良惡性自動(dòng)輔助識(shí)別系統(tǒng)，其特征在于：所述步驟三包括如下步驟：

步驟3.1：將步驟二得到的超聲甲狀腺結(jié)節(jié)圖像x輸入到CVAE編碼器中，編碼器將輸入x編碼為隱變量z。編碼器包括四個(gè)卷積層，通道數(shù)成倍遞增。

步驟3.2：將步驟3.1中超聲甲狀腺結(jié)節(jié)圖像對(duì)應(yīng)數(shù)據(jù)標(biāo)簽y輸入到CVAE標(biāo)簽編碼器中，編碼器將y變成具有與z匹配維數(shù)的向量標(biāo)簽編碼器為一個(gè)全連接層，神經(jīng)元個(gè)數(shù)和隱變量維度相同。

步驟3.3：利用解碼器對(duì)步驟3.1和步驟3.2獲得的隱變量z與標(biāo)簽重構(gòu)輸入超聲甲狀腺結(jié)節(jié)圖像解碼器包含四個(gè)反卷積層，通道數(shù)與編碼器對(duì)稱。

訓(xùn)練CVAE模型，通過(guò)梯度下降算法擬合損失函數(shù)(公式1)

步驟3.4對(duì)訓(xùn)練完成的隱變量z進(jìn)行重采樣，生成新的超聲甲狀腺結(jié)節(jié)樣本。完成對(duì)步驟二中超聲甲狀腺結(jié)節(jié)數(shù)據(jù)庫(kù)中數(shù)量較少類別樣本的豐富，即對(duì)良性樣本進(jìn)行豐富解決超聲甲狀腺結(jié)節(jié)數(shù)據(jù)中存在的類別不平衡問(wèn)題。

3.根據(jù)權(quán)利要求1所述的一種超聲甲狀腺結(jié)節(jié)樣例豐富及良惡性自動(dòng)輔助識(shí)別系統(tǒng)，其特征在于：步驟四包括如下步驟：

步驟4.1：獲得三分支多特征卷積神經(jīng)網(wǎng)絡(luò)MVCNN進(jìn)行良惡性分類的第二分支的輸入圖像。為增強(qiáng)網(wǎng)絡(luò)對(duì)超聲圖像特征縱橫比的學(xué)習(xí)，在保持長(zhǎng)寬比不變下，將步驟二UNet分割結(jié)果得到結(jié)節(jié)ROI大小調(diào)整為224*224，將其作為MVCNN第二分支的輸入圖像。

步驟4.2：獲得三分支多特征卷積神經(jīng)網(wǎng)絡(luò)MVCNN進(jìn)行良惡性分類的第一分支的輸入圖像。考慮到良惡性結(jié)節(jié)內(nèi)部和周圍甲狀腺實(shí)質(zhì)的超聲差異，將步驟4.1得到的結(jié)節(jié)ROI按1.5倍大小裁剪，將其作為MVCNN第一分支的輸入圖像。

步驟4.3：獲得三分支多特征卷積神經(jīng)網(wǎng)絡(luò)MVCNN進(jìn)行良惡性分類的第三分支的輸入圖像。考慮到良惡性結(jié)節(jié)邊界和邊緣的差異，為增強(qiáng)網(wǎng)絡(luò)對(duì)于邊緣的學(xué)習(xí)，將步驟4.1得到的結(jié)節(jié)輪廓線擴(kuò)張得到帶狀區(qū)域，將其作為MVCNN第三分支的輸入圖像。

步驟4.4：分別利用步驟4.1、步驟4.2及步驟4.3獲得的輸入圖像對(duì)超聲甲狀腺結(jié)節(jié)分類網(wǎng)絡(luò)進(jìn)行訓(xùn)練及測(cè)試，網(wǎng)絡(luò)結(jié)構(gòu)均采用SE-ResNet50。

步驟4.5：根據(jù)步驟4.4中三個(gè)分支網(wǎng)絡(luò)對(duì)甲狀腺結(jié)節(jié)的分類準(zhǔn)確率，為三分支多特征卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中每個(gè)分支的特征賦予權(quán)重。其中，準(zhǔn)確率越高的分支，特征權(quán)重越大，權(quán)重和為1。

步驟4.6：將步驟4.5中三個(gè)分支網(wǎng)絡(luò)的特征通過(guò)全連接層連接和融合，完成構(gòu)建三分支多特征卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)MVCNN。

步驟4.7：基于步驟4.6構(gòu)建的三分支多特征卷積神經(jīng)網(wǎng)絡(luò)MVCNN，結(jié)合步驟4.1、步驟4.2及步驟4.3獲得的輸入圖像對(duì)超聲甲狀腺結(jié)節(jié)良惡性分類網(wǎng)絡(luò)進(jìn)行訓(xùn)練及測(cè)試，網(wǎng)絡(luò)結(jié)構(gòu)均采用SE-ResNet50，結(jié)節(jié)分類輸出結(jié)果為0(良性)或1(惡性)，實(shí)現(xiàn)甲狀腺結(jié)節(jié)良惡性識(shí)別。