[發(fā)明專利]一種基于TI-RADS的集成深度學(xué)習(xí)多標(biāo)簽識別方法

有效

• 申請?zhí)枺?/td>: 202011214496.4
• 申請日: 2020-11-02
• 公開（公告）號: CN112270667B
• 公開（公告）日: 2023-04-25
• 發(fā)明（設(shè)計(jì)）人: 李潤知;段雪麗;戴洪華
• 申請（專利權(quán)）人: 鄭州大學(xué)
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06V10/764;G06V10/80;G06V10/82;G06N3/0464;G06N3/047;G06N3/084;G06N3/096
• 代理公司: 鄭州裕晟知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 41142
• 代理人: 徐志威

1.一種基于TI-RADS的集成深度學(xué)習(xí)多標(biāo)簽識別方法，其特征在于，包括以下步驟：

S1、預(yù)處理，對采集到的原始甲狀腺超聲圖像進(jìn)行預(yù)處理，所述預(yù)處理包括對所述原始甲狀腺超聲圖像進(jìn)行結(jié)節(jié)邊界的分割、結(jié)節(jié)感興趣區(qū)域的提取；

S2、特征工程，所述特征工程為對步驟S1預(yù)處理后的原始甲狀腺超聲圖像進(jìn)行幾何特征和紋理特征的提取；

S3、搭建模型，將EfficientNet模型、特征工程、FPN網(wǎng)絡(luò)模型通過Concatenate函數(shù)進(jìn)行特征融合得到深度學(xué)習(xí)模型；

S4、將步驟S1預(yù)處理后的原始甲狀腺超聲圖像以及步驟S2中提取的幾何特征和紋理特征輸入到步驟S3中的深度學(xué)習(xí)模型，輸出多標(biāo)簽分類結(jié)果；

步驟S1中，對所述原始甲狀腺超聲圖像進(jìn)行預(yù)處理的具體過程如下：

S11、對所述原始甲狀腺超聲圖像進(jìn)行結(jié)節(jié)邊界的分割，根據(jù)醫(yī)生在超聲圖像中的標(biāo)記來確定結(jié)節(jié)的位置，然后使用圖像標(biāo)注軟件labelme進(jìn)行分割，分割之后保存成一個json文件，經(jīng)過轉(zhuǎn)換得到二進(jìn)制mask圖像，將二進(jìn)制mask圖像與原始甲狀腺超聲圖像疊加之后得到包含結(jié)節(jié)的前景圖；

S12、對所述原始甲狀腺超聲圖像進(jìn)行結(jié)節(jié)感興趣區(qū)域的提取，將步驟S11中得到二進(jìn)制mask圖像，輸入到OpenCV中查找圖像輪廓的函數(shù)找到目標(biāo)區(qū)域，得出結(jié)節(jié)最小外接矩陣的坐標(biāo)點(diǎn)(x,y,w,h),然后對原始甲狀腺超聲圖像自動裁剪；

步驟S4的具體過程如下：

S41、集成EfficientNet模型，通過遷移學(xué)習(xí)，將Efficientnet-B0在ImageNet上訓(xùn)練的權(quán)重應(yīng)用到甲狀腺結(jié)節(jié)超聲圖像上，將提取的ROI圖像作為輸入，尺寸大小設(shè)為128*128，輸出多個第一一維向量；

S42、集成FPN網(wǎng)絡(luò)模型，將分割后的mask二值圖像和前景圖像分別作為輸入，尺寸大小設(shè)置為128*128，卷積核大小為3*3，從不同尺度提取特征，然后將兩個輸出拼接為第二一維向量；

S43、將集成EfficientNet模型輸出的第一一維向量、提取的幾何特征和紋理特征對應(yīng)的七個第三一維向量、集成FPN網(wǎng)絡(luò)模型輸出的第二一維向量通過Concatenate函數(shù)進(jìn)行特征融合之后的結(jié)果，輸入到全連接層中輸出多標(biāo)簽分類結(jié)果。

2.根據(jù)權(quán)利要求1所述的基于TI-RADS的集成深度學(xué)習(xí)多標(biāo)簽識別方法，其特征在于，步驟S2中，所述特征工程，是根據(jù)對所述原始甲狀腺超聲圖像進(jìn)行結(jié)節(jié)邊界的分割后得到的mask二值圖像提取的幾何特征和使用灰度共生矩陣對前景圖像提取的紋理特征。

3.根據(jù)權(quán)利要求2所述的基于TI-RADS的集成深度學(xué)習(xí)多標(biāo)簽識別方法，其特征在于：所述多標(biāo)簽分類包括成分、回聲、邊緣、強(qiáng)回聲、形態(tài)，其中成分、回聲、邊緣、強(qiáng)回聲是屬于多分類，采用softmax函數(shù)進(jìn)行分類，形態(tài)屬于二分類，采用sigmoid函數(shù)進(jìn)行分類。

4.根據(jù)權(quán)利要求3所述的基于TI-RADS的集成深度學(xué)習(xí)多標(biāo)簽識別方法，其特征在于：所述深度學(xué)習(xí)模型采用焦點(diǎn)損失作為損失函數(shù)，總的損失函數(shù)為：

Loss_total＝loss_c+loss_e+loss_s+loss_m+loss_f；

其中，loss_c,loss_e,loss_s,loss_m,loss_f分別代表成分、回聲、形態(tài)、邊緣、強(qiáng)回聲每一類的損失。

5.根據(jù)權(quán)利要求1所述的基于TI-RADS的集成深度學(xué)習(xí)多標(biāo)簽識別方法，其特征在于：所述深度學(xué)習(xí)模型采用隨機(jī)梯度下降法進(jìn)行優(yōu)化。

6.根據(jù)權(quán)利要求1-5任一項(xiàng)所述的基于TI-RADS的集成深度學(xué)習(xí)多標(biāo)簽識別方法，其特征在于：還包括對所述深度學(xué)習(xí)模型進(jìn)行訓(xùn)練，取現(xiàn)有的采集到的原始甲狀腺超聲圖像作為訓(xùn)練集，在進(jìn)行步驟S1時，訓(xùn)練集中的原始甲狀腺超聲圖像進(jìn)行圖像數(shù)量的增廣，采用水平翻轉(zhuǎn)，豎直翻轉(zhuǎn)，亮度增強(qiáng)，顏色變換的方式，經(jīng)過數(shù)據(jù)增廣，將增廣后的數(shù)據(jù)用于深度學(xué)習(xí)模型的訓(xùn)練。