[發(fā)明專利]一種基于Unet和分水嶺算法的細(xì)胞實(shí)例分割方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110163027.2
• 申請(qǐng)日: 2021-02-05
• 公開（公告）號(hào): CN112907603A
• 公開（公告）日: 2021-06-04
• 發(fā)明（設(shè)計(jì)）人: 田澤坤;岳雪穎;孫玲玲
• 申請(qǐng)（專利權(quán)）人: 杭州電子科技大學(xué)
• 主分類號(hào): G06T7/11
• 分類號(hào): G06T7/11;G06N3/04;G06N3/08;G06T5/30
• 代理公司: 杭州君度專利代理事務(wù)所(特殊普通合伙) 33240
• 代理人: 楊舟濤

本發(fā)明公開了一種基于Unet和分水嶺算法的細(xì)胞實(shí)例分割方法，本發(fā)明主要是針對(duì)Unet結(jié)合分水嶺這一算法細(xì)節(jié)進(jìn)行設(shè)計(jì)的。其一是本發(fā)明用到了兩個(gè)unet網(wǎng)絡(luò)，分別負(fù)責(zé)細(xì)胞形態(tài)的語義分割，細(xì)胞核的語義分割。其二是針對(duì)需要標(biāo)記的分水嶺算法，需要指定注水點(diǎn)，未知區(qū)域這一特點(diǎn)。在本算法中，把細(xì)胞核當(dāng)作每一個(gè)細(xì)胞區(qū)域的注水點(diǎn)，把去掉細(xì)胞核區(qū)域的其他細(xì)胞區(qū)域當(dāng)作未知區(qū)域，再將原圖用sobel算子梯度化，進(jìn)行分水嶺算法的分割。本發(fā)明既保證了粘連細(xì)胞可以分離開來，又保證了預(yù)測(cè)細(xì)胞的范圍是一個(gè)正常的范圍。

技術(shù)領(lǐng)域

本發(fā)明涉及深度學(xué)習(xí)，具體涉及一種基于Unet和分水嶺的細(xì)胞實(shí)例分割方法。

背景技術(shù)

圖像分割算法已經(jīng)發(fā)展了很多年，從最初的傳統(tǒng)圖像分割算法，到現(xiàn)在的基于深度學(xué)習(xí)的圖像分割算法，圖像分割算法已經(jīng)取得了很大的進(jìn)步，并且在各個(gè)領(lǐng)域都有著廣泛的應(yīng)用，尤其是在醫(yī)療圖像領(lǐng)域，分割出病變的器官，對(duì)培養(yǎng)細(xì)胞進(jìn)行分割計(jì)數(shù)已經(jīng)得到了實(shí)際應(yīng)用。一般來說針對(duì)細(xì)胞圖像進(jìn)行基于深度學(xué)習(xí)語義分割比較簡(jiǎn)單，用Unet就可以實(shí)現(xiàn)，不需要其他操作，但是要進(jìn)行計(jì)數(shù)就要進(jìn)行進(jìn)一步的計(jì)數(shù)任務(wù)，就要進(jìn)一步地把語義分割中粘連的細(xì)胞分割開來，也就是實(shí)例分割任務(wù)，圖像分割的實(shí)例分割任務(wù)目前是圖像中最難的一個(gè)任務(wù)，目前常用的方法是用Mask-RCNN直接進(jìn)行實(shí)例分割，但Mask-RCNN主要針對(duì)自然圖像，處理細(xì)胞圖像的效果不是很好。所以目前還沒有一種很好的針對(duì)于細(xì)胞圖像的實(shí)例分割算法。

發(fā)明內(nèi)容

本發(fā)明針對(duì)于細(xì)胞實(shí)例分割，提出一種基于Unet和分水嶺算法的細(xì)胞實(shí)例分割算法，在Unet進(jìn)行語義分割之后，結(jié)合分水嶺算法，實(shí)現(xiàn)最后的實(shí)例分割。

本發(fā)明技術(shù)針對(duì)于細(xì)胞圖像進(jìn)行實(shí)例分割。語義分割結(jié)合分水嶺進(jìn)行實(shí)例分割是已經(jīng)有的方案，但是如何結(jié)合分水嶺直接決定了實(shí)例分割的效果，本發(fā)明主要是針對(duì)Unet結(jié)合分水嶺這一算法細(xì)節(jié)進(jìn)行設(shè)計(jì)的。其一是本發(fā)明用到了兩個(gè)unet網(wǎng)絡(luò)，分別負(fù)責(zé)細(xì)胞形態(tài)的語義分割，細(xì)胞核的語義分割。其二是針對(duì)需要標(biāo)記的分水嶺算法，需要指定注水點(diǎn)，未知區(qū)域這一特點(diǎn)。在本算法中，把細(xì)胞核當(dāng)作每一個(gè)細(xì)胞區(qū)域的注水點(diǎn)，把去掉細(xì)胞核區(qū)域的其他細(xì)胞區(qū)域當(dāng)作未知區(qū)域，再將原圖用sobel算子梯度化，進(jìn)行分水嶺算法的分割。

這種方法可以結(jié)合Unet和分水嶺的優(yōu)點(diǎn)，巧妙地利用Unet分割精度高，分水嶺可以分開粘連細(xì)胞的特點(diǎn)，完成最后高精度的細(xì)胞實(shí)例分割。

本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的：

分三步，第一步，訓(xùn)練兩個(gè)Unet網(wǎng)絡(luò)，一個(gè)網(wǎng)絡(luò)用于預(yù)測(cè)細(xì)胞形態(tài)，另一個(gè)網(wǎng)絡(luò)用于預(yù)測(cè)細(xì)胞核，原圖輸入兩個(gè)網(wǎng)絡(luò)后分別生成細(xì)胞形態(tài)和細(xì)胞核兩個(gè)掩碼圖像，此時(shí)的細(xì)胞形態(tài)掩碼已經(jīng)是做了語義分割操作，但是細(xì)胞形態(tài)掩碼會(huì)有很多粘連的細(xì)胞；

第二步，通過原圖，細(xì)胞形態(tài)，細(xì)胞核掩碼，能生成一個(gè)有基于標(biāo)記的分水嶺分割結(jié)果，即得到分水嶺掩碼；

針對(duì)第二步的具體操作是：基于標(biāo)記的分水嶺算法需要：未知區(qū)域，注水點(diǎn)，梯度圖。其中未知區(qū)域＝細(xì)胞區(qū)域-細(xì)胞核區(qū)域，注水點(diǎn)＝細(xì)胞核區(qū)域，梯度圖＝原圖經(jīng)過sobel算子梯度化；未知區(qū)域用像素0標(biāo)注，不同注水點(diǎn)用3、4、5…表示，背景用2表示，以上要素生成一個(gè)標(biāo)記圖，然后送入opencv分水嶺函數(shù)中，即可生成分水嶺掩碼；

第三步，通過細(xì)胞形態(tài)掩碼、細(xì)胞核掩碼和分水嶺掩碼，結(jié)合膨脹算法分離粘連的細(xì)胞，生成最終的實(shí)例分割結(jié)果。

針對(duì)第三步的具體操作是：