[發(fā)明專利]一種基于圖像先驗的細胞圖像超分辨方法及裝置

有效

• 申請?zhí)枺?/td>: 201811224978.0
• 申請日: 2018-10-20
• 公開（公告）號: CN109389557B
• 公開（公告）日: 2023-01-06
• 發(fā)明（設(shè)計）人: 曹汛;蔡悅;閆鋒;華夏;夏永泉
• 申請（專利權(quán)）人: 南京大學(xué)
• 主分類號: G06T3/40
• 分類號: G06T3/40
• 代理公司: 江蘇法德東恒律師事務(wù)所 32305
• 代理人: 李媛媛

本發(fā)明公開了一種基于圖像先驗的細胞圖像超分辨方法及其裝置，屬于計算機視覺和深度學(xué)習(xí)領(lǐng)域。該方法主要包括以下步驟：拍攝顯微鏡下的細胞圖像；手動標記出三個區(qū)域，生成掩膜；生成特征圖；提取掩膜；利用圖像解碼網(wǎng)絡(luò)生成高分辨率圖像；以細胞圖像和掩膜作為訓(xùn)練集，訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)；固定網(wǎng)絡(luò)參數(shù)，將訓(xùn)練得到的卷積神經(jīng)網(wǎng)絡(luò)，對低分辨率細胞圖像進行超分辨。其裝置包括：顯微圖像獲取模塊、圖像預(yù)處理模塊、圖像特征編碼模塊、圖像掩膜提取模塊、圖像解碼模塊、神經(jīng)網(wǎng)絡(luò)訓(xùn)練模塊和細胞超分辨模塊。本發(fā)明的細胞圖像超分辨方法，充分利用了細胞圖像先驗知識，大大提高了細胞超分辨的性能，對基于顯微圖像的病理學(xué)診斷有至關(guān)重要的意義。

技術(shù)領(lǐng)域

本發(fā)明屬于醫(yī)學(xué)圖像領(lǐng)域，尤其涉及一種基于圖像先驗的細胞圖像超分辨方法和裝置。

背景技術(shù)

在顯微圖像方面，高分辨的顯微圖像能夠幫助醫(yī)生快速準確地判斷細胞病變與否，而且還可以提高人類或計算機程序基于顯微圖像自動識別疾病的準確率。然而，由于高分辨率相機和高倍數(shù)顯微鏡成本過高，以及地方政策問題，在許多發(fā)展中國家僅有部分高水平醫(yī)院可以做到足夠高清(諸如400倍放大倍數(shù))的顯微圖像，而一些地方醫(yī)院由于經(jīng)濟條件限制，難以獲得如此高倍數(shù)的顯微圖像，這無疑大大限制了當(dāng)?shù)蒯t(yī)院的醫(yī)療水平，使得部分來自小城市的患者不得不專程轉(zhuǎn)移至其他城市進行病理診斷。基于這個問題，人們開始提出顯微圖像超分辨的概念，其中比較成功的方法是熒光標記，通過額外照射一個空心圓熒光，讓光電的散射范圍更小，突破衍射極限。另一種可能的方法便是通過數(shù)字圖像超分辨技術(shù)來獲得邊緣更清晰的顯微圖像。現(xiàn)有的許多基于深度學(xué)習(xí)的圖像超分辨方法都能大幅提高低分辨率圖像的清晰度，因此將顯微圖像進行超分辨處理，即便使用一些低配置的顯微成像系統(tǒng)也可以獲得足夠清晰的圖像邊緣，以幫助醫(yī)師準確地進行病理診斷。

自2012年開始，得益于卷積神經(jīng)網(wǎng)絡(luò)的快速性和高效性，深度學(xué)習(xí)技術(shù)快速發(fā)展。越來越多的來自世界各個學(xué)校、企業(yè)的學(xué)者提出了許多基于深度學(xué)習(xí)的圖像超分辨的方法。不少研究人員嘗試將超分辨方法用于顯微圖像超分辨，并在組織切片圖像超分辨取得了成功。然而還鮮有人專門對細胞圖像進行超分辨。

目前細胞顯微圖像超分辨方法還存在如下問題：首先，絕大多數(shù)現(xiàn)有的深度學(xué)習(xí)超分辨網(wǎng)絡(luò)都是將一副完整的圖像裁剪成許多小尺寸的圖像(例如41*41，或19*19)，這樣忽略了圖像的空間結(jié)構(gòu)信息，對于細胞圖像而言，整體結(jié)構(gòu)信息對特征的提取也是至關(guān)重要的。其次，大多數(shù)超分辨模型都是以最小平方誤差(Mean Square Error，MSE)為損失函數(shù)進行訓(xùn)練。以MSE作為目標容易使網(wǎng)絡(luò)返回過于平滑和模糊的邊界，導(dǎo)致超分辨效果欠佳。另外，當(dāng)前研究很少考慮到細胞圖像先驗信息的應(yīng)用。一般而言，圖像先驗?zāi)軌蚝芎玫匾龑?dǎo)網(wǎng)絡(luò)訓(xùn)練，使網(wǎng)絡(luò)更快地收斂，使模型更加魯棒。

發(fā)明內(nèi)容

針對上述現(xiàn)有方法中存在的缺陷，本發(fā)明的目的在于提供一種基于圖像先驗的細胞超分辨方法，該方法的模型為一個深度卷積神經(jīng)網(wǎng)絡(luò)，可以實現(xiàn)對顯微鏡細胞圖像進行背景、細胞質(zhì)、細胞核三個區(qū)域的分割，并重建成一張擁有更高分辨率、且擁有更清晰的細節(jié)的超分辨率圖像。本發(fā)明的另外一個目的是提供實現(xiàn)該方法的裝置。

實現(xiàn)本發(fā)明目的的技術(shù)解決方案為：

一種基于圖像先驗的細胞圖像超分辨方法，包括如下步驟：

S1，拍攝顯微鏡下的細胞圖像；

S2，對拍攝得到的每張細胞圖像手動標記出背景、細胞質(zhì)和細胞核三種區(qū)域，并生成掩膜；

S3，利用特征編碼網(wǎng)絡(luò)，以單張細胞圖像為輸入，逐漸提取圖像特征，再將低層次和高層次特征結(jié)合起來，生成一個特征圖；

S4，利用語義分割網(wǎng)絡(luò)，從輸入的單張細胞圖像中提取出背景、細胞質(zhì)和細胞核三種區(qū)域的掩膜；

S5，將S3獲得的細胞圖像的特征圖和S4提取的掩膜在通道維度上疊加，利用圖像解碼網(wǎng)絡(luò)解碼并生成高分辨率的細胞圖像；