[發(fā)明專利]一種基于多任務(wù)學(xué)習(xí)的細(xì)胞核實(shí)例分割方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201811310537.2
• 申請(qǐng)日: 2018-11-06
• 公開（公告）號(hào): CN109493330A
• 公開（公告）日: 2019-03-19
• 發(fā)明（設(shè)計(jì)）人: 漆進(jìn);張通;史鵬
• 申請(qǐng)（專利權(quán)）人: 電子科技大學(xué)
• 主分類號(hào): G06T7/00
• 分類號(hào): G06T7/00;G06T7/11;G06T7/187;G06T7/194
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

本發(fā)明屬于計(jì)算機(jī)視覺、醫(yī)學(xué)圖像處理領(lǐng)域，具體為一種基于多任務(wù)學(xué)習(xí)的細(xì)胞核實(shí)例分割方法。該方法包括：構(gòu)建多分支神經(jīng)網(wǎng)絡(luò)；多任務(wù)聯(lián)合訓(xùn)練；多分支聯(lián)合預(yù)測(cè)。本發(fā)明有效地解決了細(xì)胞核實(shí)例分割中的錯(cuò)漏問題，提高了細(xì)胞核實(shí)例分割的準(zhǔn)確率。

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)視覺，深度學(xué)習(xí)，醫(yī)學(xué)圖像處理領(lǐng)域，具體為一種基于多任務(wù)學(xué)習(xí)的細(xì)胞核實(shí)例分割方法。

背景技術(shù)

細(xì)胞實(shí)例分割是細(xì)胞跟蹤、細(xì)胞分裂檢測(cè)的基礎(chǔ)，在醫(yī)學(xué)圖像處理、分析領(lǐng)域占據(jù)重要的地位。與細(xì)胞分割不同，細(xì)胞實(shí)例分割不僅要求識(shí)別圖像中每個(gè)像素點(diǎn)的類別，還要求不同細(xì)胞之間不能有重疊。細(xì)胞圖像中，細(xì)胞經(jīng)常發(fā)生粘連，如何將粘連在一起的不同細(xì)胞實(shí)例區(qū)分開來(lái)是極具挑戰(zhàn)性的課題。

近年來(lái)，深度學(xué)習(xí)在圖像處理領(lǐng)域發(fā)揮著日益重要的作用。細(xì)胞核實(shí)例分割的一種方法是，利用全卷積網(wǎng)絡(luò)(FCN)等語(yǔ)義分割網(wǎng)絡(luò)生成二進(jìn)制掩碼，再利用分水嶺算法等后處理方法將重疊的掩碼分開，這種方法往往準(zhǔn)確率較低。另外一種典型的實(shí)例分割方法是Mask-RCNN，這種方法把目標(biāo)檢測(cè)任務(wù)和語(yǔ)義分割任務(wù)結(jié)合到一起，能夠高效地解決實(shí)例重疊問題。Mask-RCNN在自然圖像領(lǐng)域取得了很大的成功，但是應(yīng)用在細(xì)胞實(shí)例分割中往往會(huì)漏掉部分細(xì)胞。這是因?yàn)镸ask-RCNN在測(cè)試階段，先生成目標(biāo)檢測(cè)框，再對(duì)檢測(cè)框里的每一個(gè)實(shí)例進(jìn)行分割，一些比較小或者比較模糊的細(xì)胞實(shí)例在目標(biāo)檢測(cè)過(guò)程中就被漏掉了。我們提出了一種基于多任務(wù)學(xué)習(xí)的細(xì)胞核實(shí)例分割方法，能夠有效地解決實(shí)例分割中的錯(cuò)漏問題，提高了細(xì)胞核實(shí)例分割的準(zhǔn)確率。

發(fā)明內(nèi)容

針對(duì)上述存在問題或不足，為了減少細(xì)胞實(shí)例分割中的錯(cuò)漏問題，本發(fā)明提出了一種基于多任務(wù)學(xué)習(xí)的細(xì)胞核實(shí)例分割方法。

本發(fā)明采用的技術(shù)方案是：

(1)構(gòu)建多分支神經(jīng)網(wǎng)絡(luò)，包括特征提取網(wǎng)絡(luò)、區(qū)域提議網(wǎng)絡(luò)(RPN)、感興趣區(qū)域?qū)?ROI)、邊框分支、掩碼分支、全局掩碼分支。

(2)包括區(qū)域提議網(wǎng)絡(luò)(RPN)、邊框分支、掩碼分支、全局掩碼分支的多任務(wù)聯(lián)合訓(xùn)練。

(3)利用多分支進(jìn)行聯(lián)合預(yù)測(cè)，在全局掩碼分支的分割結(jié)果上對(duì)重疊實(shí)例進(jìn)行二次預(yù)測(cè)。

所述步驟(1)中的多分支神經(jīng)網(wǎng)絡(luò)具體包括：

(11)所述特征提取網(wǎng)絡(luò)為去掉全連接層的ResNet50，特征提取網(wǎng)絡(luò)最后一層的輸出作為feature-map。

(12)所述區(qū)域提議網(wǎng)絡(luò)(RPN)包括兩條分支，邊框回歸分支和邊框分類分支，輸入為(11)中特征提取網(wǎng)絡(luò)生成的feature-map，輸出為邊框的偏移量和邊框所屬類別的概率，利用邊框的偏移量修正初始邊框的坐標(biāo)，利用邊框所屬類別的概率篩選出概率較大的邊框，刪除超出原圖邊界的邊框，通過(guò)非極大值抑制刪除重疊度較大的邊框后按邊框所屬類別的概率由大到小排序，取前N個(gè)邊框得到候選邊框。

(13)所述感興趣區(qū)域?qū)?ROI)，輸入為(11)中特征提取網(wǎng)絡(luò)生成的feature-map和(12)中區(qū)域提議網(wǎng)絡(luò)(RPN)生成的候選邊框，輸出為固定長(zhǎng)寬為7*7的采樣特征。

(14)所述邊框分支包括邊框回歸和邊框分類，輸入為(13)中感興趣區(qū)域?qū)?ROI)生成的固定長(zhǎng)寬的采樣特征，輸出為邊框的偏移量和邊框所屬類別的概率，利用邊框的偏移量進(jìn)一步修正初始邊框的坐標(biāo)，利用邊框所屬類別的概率篩選出概率較大的邊框，刪除超出原圖邊界的邊框，通過(guò)非極大值抑制刪除重疊度較大的邊框后按邊框所屬類別的概率由大到小排序，取前n個(gè)邊框得到前景邊框。

(15)所述掩碼分支，是對(duì)(13)中感興趣區(qū)域?qū)?ROI)生成的固定長(zhǎng)寬的采樣特征進(jìn)行逐像素分類，得到語(yǔ)義分割掩碼。