[發(fā)明專利]基于多階段多特征深度融合的乳腺癌圖像識別方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202010059531.3
• 申請日: 2020-01-19
• 公開（公告）號: CN111291789B
• 公開（公告）日: 2022-07-05
• 發(fā)明（設(shè)計(jì)）人: 李廣麗;鄔任重;袁天;李傳秀;張紅斌
• 申請（專利權(quán)）人: 華東交通大學(xué)
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/80;G06V10/82;G06V10/25;G06V10/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京金智普華知識產(chǎn)權(quán)代理有限公司 11401
• 代理人: 楊采良

1.一種基于多階段多特征深度融合的乳腺癌圖像識別方法，其特征在于，所述基于多階段多特征深度融合的乳腺癌圖像識別方法包括：

第一步，采用多個互補(bǔ)型的特征，基于不同提取方式，彼此異構(gòu)，從不同的視覺角度刻畫乳腺造影圖像；

第二步，基于跨模態(tài)語義分析模型深入挖掘不同特征間蘊(yùn)含的跨模態(tài)病理語義，實(shí)現(xiàn)特征早期融合；

第三步，動態(tài)計(jì)算特征的ERGS權(quán)重，完成特征中融合及優(yōu)選特征組合實(shí)現(xiàn)特征后融合，最終實(shí)現(xiàn)多階段多特征深度融合；

第一步中，需進(jìn)行：基于異構(gòu)特征間的互補(bǔ)性，從形狀、紋理、深度學(xué)習(xí)多角度提取圖像的Gist、SIFT、HOG及VGG16、LBP、DenseNet、ResNet一組優(yōu)秀特征；

第二步中，挖掘模型包括DCA模型、CCL模型、DCCA模型、SCCA模型、MLP模型、CCA模型、特征拼接、多核學(xué)習(xí)融合以及其他跨模態(tài)語義分析模型；

所述跨模態(tài)語義包括：

所述跨模態(tài)語義即不同特征都指向相同或相似的病理語義，分別用SG、SV、SR、GH、GV、GR、SD表示跨模態(tài)病理語義，共21組跨模態(tài)病理語義；

第三步中，所述后融合實(shí)現(xiàn)方法具體包括：混合軟、硬投票機(jī)制對中融合生成的特征組合進(jìn)行投票，實(shí)現(xiàn)特征后融合；

所述特征后融合實(shí)現(xiàn)方法具體包括：

進(jìn)行SUM融合，同時基于Max完成決策，設(shè)計(jì)隨機(jī)或排序兩種策略，精準(zhǔn)度最優(yōu)的前n組ERGS特征組合中的n’組特征組合，n=11，n’=3, 5, 7, 9, 11，對預(yù)測結(jié)果進(jìn)行軟、硬兩種投票決策，進(jìn)行不同特征判別結(jié)果的集成學(xué)習(xí)，實(shí)現(xiàn)特征后期融合。

2.如權(quán)利要求1所述基于多階段多特征深度融合的乳腺癌圖像識別方法，其特征在于，第三步中，所述中融合實(shí)現(xiàn)方法具體包括：基于改進(jìn)的ERGS模型動態(tài)計(jì)算特征權(quán)重，實(shí)現(xiàn)特征中融合；

所述特征中融合實(shí)現(xiàn)方法具體包括：

基于Adaboost算法計(jì)算單特征、跨模態(tài)病理語義的預(yù)估概率；改進(jìn)有效區(qū)域基因優(yōu)選算法，動態(tài)計(jì)算單特征、跨模態(tài)病理語義的ERGS權(quán)重，采用ERGS權(quán)重加權(quán)預(yù)估概率，構(gòu)建特征組合，采用改進(jìn)的ERGS模型實(shí)現(xiàn)多特征中融合。

3.如權(quán)利要求1所述基于多階段多特征深度融合的乳腺癌圖像識別方法，其特征在于，采用改進(jìn)的ERGS模型實(shí)現(xiàn)多特征中融合中，改進(jìn)的ERGS模型或采用MERGS、FS-SVPV、MKL、MK-BOOST融合類模型。

4.如權(quán)利要求2所述基于多階段多特征深度融合的乳腺癌圖像識別方法，其特征在于，對預(yù)測結(jié)果進(jìn)行軟、硬兩種投票決策中，所述決策或采用堆疊提升融合算法、加權(quán)融合=策略；

第三步進(jìn)行后，還需進(jìn)行：步驟四，利用構(gòu)造的集早期融合、中融合、后融合為一體的DE-Ada*模型進(jìn)行乳腺造影圖像的識別，根據(jù)識別結(jié)果輸出乳腺造影圖像預(yù)測標(biāo)簽。

5.一種應(yīng)用權(quán)利要求1~4任意一項(xiàng)所述基于多階段多特征深度融合的乳腺癌圖像識別方法的乳腺癌圖像識別系統(tǒng)， 具體包括：

圖像特征提取模塊：用于基于異構(gòu)特征間的互補(bǔ)性，從形狀、紋理、深度學(xué)習(xí)多角度提取圖像Gist、SIFT、HOG、LBP及VGG16、ResNet、DenseNet特征；

跨模態(tài)病理語義挖掘模塊：用于基于判別相關(guān)分析模型深入挖掘不同特征間蘊(yùn)含的跨模態(tài)病理語義，實(shí)現(xiàn)特征早期融合；

多特征融合模塊：用于基于改進(jìn)的ERGS模型進(jìn)行特征中融合，動態(tài)分配特征的ERGS權(quán)重；基于軟、硬兩種投票機(jī)制，排名較前的幾組特征組合，完成投票決策；最終構(gòu)造DE-Ada*乳腺造影圖像識別模型；

乳腺造影圖像識別模塊：用于利用構(gòu)造的集早期融合、中融合、后融合為一體的DE-Ada*模型進(jìn)行乳腺造影圖像識別并輸出識別結(jié)果。

6.一種計(jì)算機(jī)可讀存儲介質(zhì)，包括指令，當(dāng)其在計(jì)算機(jī)上運(yùn)行時，使得計(jì)算機(jī)執(zhí)行如權(quán)利要求1-4任意一項(xiàng)所述的基于多階段多特征深度融合的乳腺癌圖像識別方法。