[發明專利]一種基于圖像先驗的細胞圖像超分辨方法及裝置

有效

• 申請號: 201811224978.0
• 申請日: 2018-10-20
• 公開（公告）號: CN109389557B
• 公開（公告）日: 2023-01-06
• 發明（設計）人: 曹汛;蔡悅;閆鋒;華夏;夏永泉
• 申請（專利權）人: 南京大學
• 主分類號: G06T3/40
• 分類號: G06T3/40
• 代理公司: 江蘇法德東恒律師事務所 32305
• 代理人: 李媛媛

1.一種基于圖像先驗的細胞圖像超分辨方法，其特征在于，包括如下步驟：

S1，拍攝顯微鏡下的細胞圖像；

S2，對拍攝得到的每張細胞圖像手動標記出背景、細胞質和細胞核三種區域，并生成掩膜；

S3，利用特征編碼網絡，以單張細胞圖像為輸入，逐漸提取圖像特征，再將低層次和高層次特征結合起來，生成一個特征圖；

S4，利用語義分割網絡，從輸入的單張細胞圖像中提取出背景、細胞質和細胞核三種區域的掩膜；

S5，將S3獲得的細胞圖像的特征圖和S4提取的掩膜在通道維度上疊加，利用圖像解碼網絡解碼并生成高分辨率的細胞圖像；

S6，以S1拍攝的細胞圖像和S2標記得到的掩膜作為訓練集，用反向傳播算法訓練卷積神經網絡分割細胞和超分辨細胞圖像的能力；

S7，經過多次迭代后，固定網絡參數，利用訓練得到的卷積神經網絡對單張未標記掩膜的低分辨率細胞圖像直接進行超分辨。

2.根據權利要求1所述的一種基于圖像先驗的細胞圖像超分辨方法，其特征在于，所述步驟S2中，手動標記的具體方法為：利用LabelMe軟件，將細胞圖像中細胞質和細胞核的區域均勻標注點，再以這些標注點作為頂點，利用opencv視覺庫中的畫圖工具生成凸多邊形。

3.根據權利要求1所述的一種基于圖像先驗的細胞圖像超分辨方法，其特征在于，所述步驟S3中，特征編碼網絡利用含4個連續殘差塊的殘差神經網絡提取圖像特征。

4.根據權利要求1所述的一種基于圖像先驗的細胞圖像超分辨方法，其特征在于，所述步驟S4中，語義分割網絡呈瓶頸結構，輸入的圖像每經過兩個卷積-ReLU層，就使用池化層降采樣一倍，一共經歷4次；接著，再通過解卷積層逐漸增采樣，且將之前尺寸相同的卷積層逐元素相加，直至恢復至輸入圖像的大小，生成掩膜。

5.一種基于圖像先驗的細胞圖像超分辨的裝置，其特征在于，所述裝置包括：

顯微圖像獲取模塊，獲取細胞原始顯微圖像；

圖像預處理模塊，對獲取的細胞圖像手動標記出背景、細胞質和細胞核三種區域，并提取掩膜；

圖像特征編碼模塊，從輸入的細胞圖像中逐漸提取圖像特征，再將低層次和高層次特征結合起來，生成一個特征圖；

圖像掩膜提取模塊，利用語義分割網絡從輸入的細胞圖像中提取背景、細胞質和細胞核三種區域的掩膜；

圖像解碼模塊，用于將所述圖像特征編碼模塊生成的特征圖和所述圖像掩膜提取模塊提取的掩膜在通道維度上疊加，利用圖像解碼網絡解碼并生成高分辨率的細胞圖像；

神經網絡訓練模塊，以所述顯微圖像獲取模塊獲取的細胞原始顯微圖像和所述圖像預處理模塊提取的掩膜作為訓練集，基于反向傳播算法訓練卷積神經網絡分割細胞和超分辨細胞圖像的能力；

細胞超分辨模塊，利用訓練得到的卷積神經網絡對未標記掩膜的低分辨率細胞圖像進行超分辨。