[發(fā)明專利]一種基于遷移學(xué)習(xí)的細(xì)胞圖像檢測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110591907.X
• 申請(qǐng)日: 2021-05-28
• 公開(kāi)（公告）號(hào): CN113327233B
• 公開(kāi)（公告）日: 2023-05-16
• 發(fā)明（設(shè)計(jì)）人: 許廷發(fā);王舒珊;張繼洲;張一舟;汪心
• 申請(qǐng)（專利權(quán)）人: 北京理工大學(xué)重慶創(chuàng)新中心;北京理工大學(xué)
• 主分類號(hào): G06T7/00
• 分類號(hào): G06T7/00;G06V10/82;G06N3/047;G06N3/0464;G06N3/096;G06V10/764;G06V10/766
• 代理公司: 成都九鼎天元知識(shí)產(chǎn)權(quán)代理有限公司 51214
• 代理人: 陽(yáng)佑虹

1.一種基于遷移學(xué)習(xí)的細(xì)胞圖像檢測(cè)方法，其特征在于，包括如下步驟：

S1：采集細(xì)胞圖像，通過(guò)傅里葉疊層顯微成像系統(tǒng)對(duì)樣本的低分辨率強(qiáng)度圖像采樣，獲取計(jì)算機(jī)可以直接處理的數(shù)字圖像數(shù)據(jù)，得到低分辨率圖像集合；

S2：對(duì)所述低分辨率圖像集合進(jìn)行頻譜迭代處理，獲得高分辨率細(xì)胞圖像；

S3：獲取細(xì)胞密度圖數(shù)據(jù)集，根據(jù)得到的所述高分辨率細(xì)胞圖像，對(duì)圖像中的細(xì)胞進(jìn)行標(biāo)注，并利用高斯核函數(shù)生成細(xì)胞密度圖來(lái)構(gòu)建所述細(xì)胞密度圖數(shù)據(jù)集；

S4：構(gòu)建細(xì)胞密度估計(jì)網(wǎng)絡(luò)模型，并將所述細(xì)胞密度圖數(shù)據(jù)集作為訓(xùn)練集訓(xùn)練細(xì)胞密度估計(jì)網(wǎng)絡(luò)模型；

所述細(xì)胞密度估計(jì)網(wǎng)絡(luò)模型基于VGGNet網(wǎng)絡(luò)框架提取圖像特征，通過(guò)FPN結(jié)構(gòu)融合多層不同尺度的特征圖，并連接堆疊的四個(gè)3×3卷積層壓縮特征通道數(shù)，得到單通道的密度估計(jì)圖，具體如下：

通過(guò)所述VGGNet網(wǎng)絡(luò)提取圖像特征，之后通過(guò)FPN網(wǎng)絡(luò)對(duì)上層特征圖進(jìn)行上采樣，并使得上采樣后的上層特征圖與下層未采樣特征圖具有相同的通道數(shù)，將二者相加，生成一組新的特征圖，將得到的新特征圖通過(guò)3×3的卷積層進(jìn)行卷積得到融合的特征圖再通過(guò)三層3×3的卷積層進(jìn)行通道壓縮，得到分辨率為原圖1/2、通道數(shù)為1的密度估計(jì)圖像；

S5：獲取細(xì)胞識(shí)別數(shù)據(jù)集，構(gòu)建細(xì)胞檢測(cè)網(wǎng)絡(luò)模型，將所述細(xì)胞密度估計(jì)網(wǎng)絡(luò)模型作為預(yù)訓(xùn)練的骨干網(wǎng)絡(luò)進(jìn)行遷移學(xué)習(xí)，輸入所述細(xì)胞識(shí)別數(shù)據(jù)集訓(xùn)練所述細(xì)胞檢測(cè)網(wǎng)絡(luò)。

2.根據(jù)權(quán)利要求1所述的基于遷移學(xué)習(xí)的細(xì)胞圖像檢測(cè)方法，其特征在于，步驟S1中，通過(guò)傅里葉疊層顯微成像系統(tǒng)進(jìn)行采樣時(shí)，采用可編程LED陣列作為照明光源提供不同角度的入射光，利用低物倍顯微鏡觀測(cè)細(xì)胞涂片，通過(guò)數(shù)字照相機(jī)和圖像采集卡對(duì)不同入射角度下對(duì)應(yīng)的樣本低分辨率強(qiáng)度圖像進(jìn)行采樣。

3.根據(jù)權(quán)利要求2所述的基于遷移學(xué)習(xí)的細(xì)胞圖像檢測(cè)方法，其特征在于，所述可編程LED陣列大小為7×7，陣列中相鄰LED之間的距離設(shè)置為8.128mm,光源波長(zhǎng)為629nm，光源到樣本的距離設(shè)置為98mm，所述圖像采集卡的傳感器像素大小為2160×2560，像元大小為6.5，所述低物倍顯微鏡的物鏡為4倍鏡，相應(yīng)的數(shù)值孔徑為0.13。

4.根據(jù)權(quán)利要求1所述的基于遷移學(xué)習(xí)的細(xì)胞圖像檢測(cè)方法，其特征在于，步驟S3中，所述標(biāo)注根據(jù)步驟S2中得到的高分辨率細(xì)胞圖像，在圖像上對(duì)每個(gè)細(xì)胞中心位置進(jìn)行標(biāo)注。

5.根據(jù)權(quán)利要求1所述的基于遷移學(xué)習(xí)的細(xì)胞圖像檢測(cè)方法，其特征在于，所述卷積層包括四個(gè)步長(zhǎng)均為1，卷積核分別為3×3×128、3×3×128、3×3×32、3×3×1的子卷積層，所述子卷積層后均連接有ReLu激活函數(shù)層。

6.根據(jù)權(quán)利要求1所述的基于遷移學(xué)習(xí)的細(xì)胞圖像檢測(cè)方法，其特征在于，在步驟S5中，根據(jù)步驟S2中得到的高分辨率細(xì)胞圖像，獲取表征細(xì)胞的矩形框四角坐標(biāo)，并標(biāo)注細(xì)胞類別，構(gòu)建所述細(xì)胞識(shí)別數(shù)據(jù)集。

7.根據(jù)權(quán)利要求1所述的基于遷移學(xué)習(xí)的細(xì)胞圖像檢測(cè)方法，其特征在于，步驟S5中，所述細(xì)胞檢測(cè)網(wǎng)絡(luò)在所述細(xì)胞密度估計(jì)網(wǎng)絡(luò)輸出后采用RPN網(wǎng)絡(luò)提取候選區(qū)域，最后通過(guò)回歸器和分類器對(duì)提取的所述候選區(qū)中的細(xì)胞進(jìn)行位置回歸和分類，獲得細(xì)胞檢測(cè)結(jié)果。

8.根據(jù)權(quán)利要求7所述的基于遷移學(xué)習(xí)的細(xì)胞圖像檢測(cè)方法，其特征在于，候選區(qū)域提取過(guò)程如下：

首先疊加一個(gè)3×3卷積層，隨著卷積核移動(dòng)生成2000個(gè)錨框，然后通過(guò)兩個(gè)1×1卷積層分別對(duì)錨框進(jìn)行正/負(fù)類預(yù)測(cè)和邊框修正，從正類錨框中提取得分最高的前k個(gè)作為候選區(qū)域，并通過(guò)非極大值抑制去除重疊的錨框得到最終的候選區(qū)域。

9.根據(jù)權(quán)利要求7所述的基于遷移學(xué)習(xí)的細(xì)胞圖像檢測(cè)方法，其特征在于，所述回歸器為全連接層，對(duì)候選區(qū)域的邊界框P進(jìn)行線性映射d，得到與真實(shí)邊界框更為接近的預(yù)測(cè)邊界框所述分類器為softmax函數(shù)，對(duì)每個(gè)類別Z_i分別計(jì)算一個(gè)類別分?jǐn)?shù)，計(jì)算公式為：