[發(fā)明專利]一種基于多尺度的全掃描病理特征融合提取方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202210980583.3
• 申請日: 2022-08-16
• 公開（公告）號: CN115063592B
• 公開（公告）日: 2022-12-06
• 發(fā)明（設(shè)計）人: 黃海亮;朱聞韜;金源;薛夢凡
• 申請（專利權(quán)）人: 之江實驗室
• 主分類號: G06V10/26
• 分類號: G06V10/26;G06V10/764;G06V10/774;G06V10/80;G16H30/20;G16H50/20;G06T7/00
• 代理公司: 杭州求是專利事務(wù)所有限公司 33200
• 代理人: 邱啟旺

1.一種基于多尺度的全掃描病理特征融合提取方法，其特征在于，包括：

（1）將待處理的全掃描病理圖像分割成多個前景病理圖像；

（2）對每張前景病理圖像一一進行特征提取，獲得對應(yīng)的前景病理圖像特征；其中，對每張前景病理圖像進行特征提取的方法具體如下：

對待處理的前景病理圖像降采樣，獲得低分辨率的前景病理圖像；

將待處理的前景病理圖像進行分割獲得多個圖像塊；

將低分辨率的前景病理圖像、多個圖像塊分別輸入至訓練好的第一特征提取網(wǎng)絡(luò)和第二特征提取網(wǎng)絡(luò)進行特征提取，所述第一特征提取網(wǎng)絡(luò)和第二特征提取網(wǎng)絡(luò)均由依次連接的特征提取模塊、空間注意力模塊組成；同時基于對應(yīng)的空間注意力模塊輸出低分辨率的前景病理圖像、多個圖像塊對應(yīng)的空間注意分數(shù)；將每個圖像塊提取的特征與低分辨率的前景病理圖像提取的特征進行拼接，然后將多個圖像塊對應(yīng)的空間注意分數(shù)作為權(quán)重對拼接后的特征進行加權(quán)融合獲得對應(yīng)的前景病理圖像特征；

（3）將低分辨率的前景病理圖像對應(yīng)的空間注意分數(shù)作為權(quán)重將多個前景病理圖像對應(yīng)的前景病理圖像特征進行加權(quán)融合獲得全掃描病理圖像的融合特征。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將待處理的全掃描病理圖像分割成多個前景病理圖像，具體為：

獲取待處理的全掃描病理圖像的前景掩模；

按照設(shè)定的圖像大小使用滑動的方式在全掃描病理圖像上截取patch圖像，若截取的patch圖像有3個或3個以上的頂點落在所述前景掩模內(nèi)，保留對應(yīng)的patch圖像即為前景病理圖像，否則丟棄。

3.根據(jù)權(quán)利要求1-2任一項所述的方法，其特征在于，所述第一特征提取網(wǎng)絡(luò)通過如下方法訓練獲得：

獲取第一訓練數(shù)據(jù)集，其中，所述第一訓練數(shù)據(jù)集的每個樣本為一張經(jīng)降采樣處理的低分辨率的前景病理圖像；

將所述第一訓練數(shù)據(jù)集的每個樣本輸入至第一特征提取網(wǎng)絡(luò)中進行特征提取，提取的特征由一全連接分類器分類獲得預測的分類結(jié)果，通過最小化預測的分類結(jié)果與真值的損失函數(shù)對第一特征提取網(wǎng)絡(luò)和全連接分類器進行訓練，訓練完成獲得訓練好的第一特征提取網(wǎng)絡(luò)；

所述第二特征提取網(wǎng)絡(luò)通過如下方法訓練獲得：

獲取第二訓練數(shù)據(jù)集，其中，所述第二訓練數(shù)據(jù)集的每個樣本為一張前景病理圖像分割獲得的圖像塊；

將所述第二訓練數(shù)據(jù)集的每個樣本輸入至第二特征提取網(wǎng)絡(luò)中進行特征提取，提取的特征由一全連接分類器分類獲得預測的分類結(jié)果，通過最小化預測的分類結(jié)果與真值的損失函數(shù)對第二特征提取網(wǎng)絡(luò)和全連接分類器進行訓練，訓練完成獲得訓練好的第二特征提取網(wǎng)絡(luò)。

4.一種基于多尺度的全掃描病理特征融合提取系統(tǒng)，其特征在于，包括：

數(shù)據(jù)預處理模塊，用于將待處理的全掃描病理圖像分割成多個前景病理圖像；

特征提取模塊，用于對每張前景病理圖像一一進行特征提取，獲得對應(yīng)的前景病理圖像特征；其中，對每張前景病理圖像進行特征提取的方法具體如下：

對待處理的前景病理圖像降采樣，獲得低分辨率的前景病理圖像；

將待處理的前景病理圖像進行分割獲得多個圖像塊；

將低分辨率的前景病理圖像、多個圖像塊分別輸入至訓練好的第一特征提取網(wǎng)絡(luò)和第二特征提取網(wǎng)絡(luò)進行特征提取，所述第一特征提取網(wǎng)絡(luò)和第二特征提取網(wǎng)絡(luò)均由依次連接的特征提取模塊、空間注意力模塊組成；同時基于對應(yīng)的空間注意力模塊輸出低分辨率的前景病理圖像、多個圖像塊對應(yīng)的空間注意分數(shù)；并將每個圖像塊提取的特征與低分辨率的前景病理圖像提取的特征進行拼接，然后將多個圖像塊對應(yīng)的空間注意分數(shù)作為權(quán)重對拼接后的特征進行加權(quán)融合獲得對應(yīng)的前景病理圖像特征；

特征融合模塊，將低分辨率的前景病理圖像對應(yīng)的空間注意分數(shù)作為權(quán)重將多個前景病理圖像對應(yīng)的前景病理圖像特征進行加權(quán)融合獲得全掃描病理圖像的融合特征。

5.一種電子設(shè)備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執(zhí)行所述計算機程序時實現(xiàn)如權(quán)利要求1-3任一項所述的基于多尺度的全掃描病理特征融合提取方法。

6.一種包含計算機可執(zhí)行指令的存儲介質(zhì)，所述計算機可執(zhí)行指令在由計算機處理器執(zhí)行時實現(xiàn)如權(quán)利要求1-3任一項所述的基于多尺度的全掃描病理特征融合提取方法。