[發(fā)明專利]一種基于多任務(wù)學(xué)習(xí)的細(xì)胞核實(shí)例分割方法

在審

• 申請?zhí)枺?/td>: 201811310537.2
• 申請日: 2018-11-06
• 公開（公告）號: CN109493330A
• 公開（公告）日: 2019-03-19
• 發(fā)明（設(shè)計）人: 漆進(jìn);張通;史鵬
• 申請（專利權(quán)）人: 電子科技大學(xué)
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/11;G06T7/187;G06T7/194
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于多任務(wù)學(xué)習(xí)的細(xì)胞核實(shí)例分割方法，其特征在于，所述方法包括：

(1)構(gòu)建多分支神經(jīng)網(wǎng)絡(luò)，包括特征提取網(wǎng)絡(luò)、區(qū)域提議網(wǎng)絡(luò)(RPN)、感興趣區(qū)域?qū)?ROI)、邊框分支、掩碼分支、全局掩碼分支；

(2)包括區(qū)域提議網(wǎng)絡(luò)(RPN)、邊框分支、掩碼分支、全局掩碼分支的多任務(wù)聯(lián)合訓(xùn)練；

(3)利用多分支進(jìn)行聯(lián)合預(yù)測，在全局掩碼分支的分割結(jié)果上對重疊實(shí)例進(jìn)行二次預(yù)測。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟(1)中具體包括：

(11)所述特征提取網(wǎng)絡(luò)為去掉全連接層的ResNet50，特征提取網(wǎng)絡(luò)最后一層的輸出作為feature-map；

(12)所述區(qū)域提議網(wǎng)絡(luò)(RPN)包括兩條分支，邊框回歸分支和邊框分類分支，輸入為(11)中特征提取網(wǎng)絡(luò)生成的feature-map，輸出為邊框的偏移量和邊框所屬類別的概率，利用邊框的偏移量修正初始邊框的坐標(biāo)，利用邊框所屬類別的概率篩選出概率較大的邊框，刪除超出原圖邊界的邊框，通過非極大值抑制刪除重疊度較大的邊框后按邊框所屬類別的概率由大到小排序，取前N個邊框得到候選邊框；

(13)所述感興趣區(qū)域?qū)?ROI)，輸入為(11)中特征提取網(wǎng)絡(luò)生成的feature-map和(12)中區(qū)域提議網(wǎng)絡(luò)(RPN)生成的候選邊框，輸出為固定長寬為7*7的采樣特征；

(14)所述邊框分支包括邊框回歸和邊框分類，輸入為(13)中感興趣區(qū)域?qū)?ROI)生成的固定長寬的采樣特征，輸出為邊框的偏移量和邊框所屬類別的概率，利用邊框的偏移量進(jìn)一步修正初始邊框的坐標(biāo)，利用邊框所屬類別的概率篩選出概率較大的邊框，刪除超出原圖邊界的邊框，通過非極大值抑制刪除重疊度較大的邊框后按邊框所屬類別的概率由大到小排序，取前n個邊框得到前景邊框；

(15)所述掩碼分支，是對(13)中感興趣區(qū)域?qū)?ROI)生成的固定長寬的采樣特征進(jìn)行逐像素分類，得到語義分割掩碼；

(16)所述全局掩碼分支，是對(11)中特征提取網(wǎng)絡(luò)生成的feature-map進(jìn)行兩倍上采樣，與(11)中ResNet50的第四個block的輸出相加，其和經(jīng)過兩倍上采樣與第三個block的輸出相加，其和經(jīng)過兩倍上采樣與第二個block的輸出相加，最后再上采樣到特征提取網(wǎng)絡(luò)的輸入尺寸，通過逐像素分類得到整張輸入圖片的語義分割掩碼。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟(2)中具體包括：

(21)按不同長寬比和不同尺寸在每個像素點(diǎn)上生成k種初始化邊框；

(22)使用隨機(jī)梯度下降法進(jìn)行訓(xùn)練，L_{rpn_cls}為區(qū)域提議網(wǎng)絡(luò)的邊框分類損失，L_{rpn_reg}為區(qū)域提議網(wǎng)絡(luò)的邊框回歸損失，L_{box_cls}為邊框分支的分類損失，L_{box_reg}為邊框分支的回歸損失，L_mask為掩碼分支的逐像素分類損失，L_{global_mask}為全局掩碼分支的逐像素分類損失，L_total為總損失，采用的損失函數(shù)計算公式如下：

L_total＝L_{rpn_cls}+L_{rpn_reg}+L_{box_cls}+L_{box_reg}+L_mask+L_{global_mask}

L_{global_mask}＝cross_entropy-log(jaccard_approximation)

cross_entropy＝-∑(y_truelogy_pred+(1-y_true)log(1-y_pred))

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟(3)中具體包括：

(31)將待測試圖片輸入網(wǎng)絡(luò)，全局掩碼分支輸出的逐像素分類結(jié)果記為掩碼A，邊框分支輸出的一組前景邊框記為B，掩碼分支輸出的一組掩碼記為C；

(32)提取掩碼A中的連通區(qū)域，刪除掉面積較小的部分，遍歷剩下的連通區(qū)域，若B中與當(dāng)前連通區(qū)域相交的前景邊框不只一個，則刪掉當(dāng)前連通區(qū)域，用C中對應(yīng)區(qū)域的掩碼替代。