[發(fā)明專利]一種基于多模態(tài)的甲狀腺結(jié)節(jié)自動(dòng)識(shí)別模型構(gòu)建方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110223659.3
• 申請(qǐng)日: 2021-03-01
• 公開（公告）號(hào): CN112949712A
• 公開（公告）日: 2021-06-11
• 發(fā)明（設(shè)計(jì)）人: 杜強(qiáng);王曉勇;王偉;劉貽豪;佟文娟;郭雨晨;聶方興;唐超
• 申請(qǐng)（專利權(quán)）人: 北京小白世紀(jì)網(wǎng)絡(luò)科技有限公司
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06K9/68;G06N3/04;G06N3/08;G06T7/00
• 代理公司: 北京八月瓜知識(shí)產(chǎn)權(quán)代理有限公司 11543
• 代理人: 李斌

1.一種基于多模態(tài)的甲狀腺結(jié)節(jié)自動(dòng)識(shí)別模型構(gòu)建方法，其特征在于，所述模型構(gòu)建方法包括以下步驟：

對(duì)多組圖像數(shù)據(jù)進(jìn)行預(yù)處理得到目標(biāo)數(shù)據(jù)，其中，所述多組圖像數(shù)據(jù)中的每例數(shù)據(jù)均包括多張灰階圖像、彩超圖像及彈性圖像三種模態(tài)圖像；

通過使用所述目標(biāo)數(shù)據(jù)輸入預(yù)先訓(xùn)練的三個(gè)多模態(tài)模型得到多模態(tài)特征圖，并對(duì)所述多模態(tài)特征圖進(jìn)行卷積融合；其中，預(yù)先訓(xùn)練的三個(gè)多模態(tài)模型均為卷積神經(jīng)網(wǎng)絡(luò)ResNet，通過第一卷積神經(jīng)網(wǎng)絡(luò)ResNet提取灰階圖像和彩超圖像特征，通過第二卷積神經(jīng)網(wǎng)絡(luò)ResNet提取彈性圖像特征；

通過投票方式將所述三個(gè)多模態(tài)模型進(jìn)行集成得到目標(biāo)模型。

2.根據(jù)權(quán)利要求1所述的模型構(gòu)建方法，其特征在于，所述對(duì)多組圖像數(shù)據(jù)進(jìn)行預(yù)處理得到目標(biāo)數(shù)據(jù)包括：

數(shù)據(jù)集整理對(duì)齊，對(duì)于灰階圖像及彩超圖像，取其橫切、縱切面數(shù)據(jù)按先后順序保存；對(duì)于彈性圖像，選取其中特征最為明顯的多張圖像，按先后順序保存，然后按灰階-彩超-彈性的先后順序組成一組圖片作為待輸入模型數(shù)據(jù)；

數(shù)據(jù)增強(qiáng)，通過對(duì)所述待輸入模型數(shù)據(jù)進(jìn)行翻轉(zhuǎn)、旋轉(zhuǎn)、剪切、顏色抖動(dòng)等手段獲取不同方向、不同角度、不同光照、色差條件下目標(biāo)數(shù)據(jù)。

3.根據(jù)權(quán)利要求2所述的模型構(gòu)建方法，其特征在于，數(shù)據(jù)集整理對(duì)齊還包括，將噪聲信息裁剪以防模型學(xué)偏；在三種模態(tài)圖像加入噪聲加強(qiáng)模型訓(xùn)練強(qiáng)度，以提升模型魯棒性。

4.根據(jù)權(quán)利要求3所述的模型構(gòu)建方法，其特征在于，所述模型構(gòu)建方法還包括，針對(duì)彈性圖像多張不兼容預(yù)訓(xùn)練模型，提取替換輸入層以適配。

5.根據(jù)權(quán)利要求2所述的模型構(gòu)建方法，其特征在于，對(duì)所述多模態(tài)特征圖進(jìn)行卷積融合包括：

設(shè)置通道數(shù)為特征圖的八分之一，通過降低三個(gè)模態(tài)特征圖維度后，在將其拼接在一起；

而后經(jīng)過3x3卷積完成融合，3x3卷積的輸入和輸出通道數(shù)目一致，最后1x1卷積進(jìn)行升維，將通道數(shù)變?yōu)樵季S度，提取盡量多的信息而不引入過多參數(shù)。

6.一種基于權(quán)利要求1-5任一項(xiàng)所述甲狀腺結(jié)節(jié)自動(dòng)識(shí)別模型的甲狀腺結(jié)節(jié)自動(dòng)識(shí)別方法，其特征在于，所述識(shí)別方法包括：

獲取待識(shí)別圖像；

將所述待識(shí)別圖像輸入到所述目標(biāo)模型中，得到甲狀腺結(jié)節(jié)識(shí)別結(jié)果。

7.一種基于多模態(tài)的甲狀腺結(jié)節(jié)自動(dòng)識(shí)別模型構(gòu)建裝置，其特征在于，所述模型構(gòu)建裝置包括：

目標(biāo)數(shù)據(jù)獲取模塊，用于對(duì)多組圖像數(shù)據(jù)進(jìn)行預(yù)處理得到目標(biāo)數(shù)據(jù)，其中，所述多組圖像數(shù)據(jù)中的每例數(shù)據(jù)均包括多張灰階圖像、彩超圖像及彈性圖像三種模態(tài)圖像；

多模態(tài)模型構(gòu)建模塊，用于通過使用所述目標(biāo)數(shù)據(jù)輸入預(yù)先訓(xùn)練的三個(gè)多模態(tài)模型得到多模態(tài)特征圖，并對(duì)所述多模態(tài)特征圖進(jìn)行卷積融合；其中，預(yù)先訓(xùn)練的三個(gè)多模態(tài)模型均為卷積神經(jīng)網(wǎng)絡(luò)ResNet，通過第一卷積神經(jīng)網(wǎng)絡(luò)ResNet提取灰階圖像和彩超圖像特征，通過第二卷積神經(jīng)網(wǎng)絡(luò)ResNet提取彈性圖像特征；

集成模塊，用于通過投票方式將所述三個(gè)多模態(tài)模型進(jìn)行集成得到目標(biāo)模型。

8.一種基于權(quán)利要求1-5任一項(xiàng)所述甲狀腺自動(dòng)識(shí)別模型的甲狀腺結(jié)節(jié)自動(dòng)識(shí)別裝置，其特征在于，所述識(shí)別裝置包括：

獲取模塊，用于獲取待識(shí)別圖像；

識(shí)別模塊，用于將所述待識(shí)別圖像輸入到所述目標(biāo)模型中，得到甲狀腺結(jié)節(jié)識(shí)別結(jié)果。

9.一種電子設(shè)備，包括：

處理器，用于存儲(chǔ)處理器可執(zhí)行指令的存儲(chǔ)器；

其中，所述處理器通過運(yùn)行所述可執(zhí)行指令以實(shí)現(xiàn)如權(quán)利要求1-5中任一項(xiàng)所述的方法。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)指令，該指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-5中任一項(xiàng)所述方法的步驟。