[發明專利]用于無卷積圖像處理的方法和裝置

在審

• 申請號: 202210617342.2
• 申請日: 2022-06-01
• 公開（公告）號: CN115439397A
• 公開（公告）日: 2022-12-06
• 發明（設計）人: M·阿姆托爾;D·哈澤
• 申請（專利權）人: 卡爾蔡司顯微鏡有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/90;G06N3/04;G06N3/08
• 代理公司: 中國貿促會專利商標事務所有限公司 11038
• 代理人: 張立國

本發明涉及用于在顯微術中通過人工神經網絡將輸入圖像無卷積地圖像處理成輸出圖像的方法、裝置以及計算機程序產品，該神經網絡具有至少一個由層組成的收縮路徑、至少一個由層組成的擴展路徑和至少一個濾波器內核。所述方法包括在人工神經網絡的一個或多個層中確定在至少一個濾波器內核與先前層的輸出之間的相似性度量。所述方法還包括在收縮路徑的至少一個層中降低先前層的輸出的分辨率并且在擴展路徑的至少一個層中提高先前層的輸出的分辨率。在此，人工神經網絡的第一層將輸入圖像作為先前層的輸出進行處理并且人工神經網絡的最后層的輸出是輸出圖像。

技術領域

本發明涉及在顯微術中通過人工神經網絡將輸入圖像無卷積地處理成輸出圖像。

背景技術

本發明原則上可以應用于任何類型的圖像處理，即，在神經網絡中將輸入圖像加工和處理成輸出圖像。人工神經網絡(KNN)也被稱為僅神經網絡，這是一種特殊形式的機器學習，其可被多樣地用于圖像處理。對此的一些示例如下：

圖像去噪(英語為denoising或noise reduction，簡稱NR)，其中，神經網絡可以從噪聲較強烈的圖像中再次生成噪聲較低的圖像。

超分辨率(英語為super resolution)，也稱為高分辨率或分辨率改善，其中，神經網絡可以提高圖像的分辨率。在此，尤其是可以通過較高的計算耗費來實現較高的質量。這種方法尤其是應用于醫學目的、天體對象的攝影、圖像數據的取證分析、生命細胞成像等等。

去卷積(英語為deconvolution)，由此同樣能夠增強圖像的分辨率，其方式為逆計算先前應用的卷積。點擴散函數(PSF，英語為point spread function)描述源與所記錄的信號的卷積。去卷積然后嘗試再次撤銷通過PSF描述的效果。為了去卷積，可以使用已知的PSF。但是也存在所謂的盲去卷積(英語為blind deconvolution)，其中不必已知PSF。

另一個應用領域例如是成像人員的人為老化或年輕化，其有時也通過生成對抗網絡(GAN，英語為generative adversarial network)實現。GAN是監督式學習的一部分并且包括兩個人工神經網絡，其中，其中一個人工神經網絡、即生成器修改圖像(所謂的候選)并且另一個人工神經網絡、即鑒別器對候選進行評估。兩者都在其學習中順便提到其結果，從而在要實現的目標的意義上不斷改進候選，其中，生成器嘗試學習生產如下圖像，鑒別器不能將所述圖像與真實圖像進行區分，而鑒別器嘗試學習將生成器的變得越來越好的候選與真實的實際的圖像進行區分。

壓縮檢測(英語為compressed sensing、compressive sensing、compressivesampling或sparses ampling)，其中，神經網絡可以檢測并且重建圖像數據中的稀疏的信號或信息源。因為信息基于其冗余而能夠在沒有顯著的信息損失的情況下被壓縮，所以這在采集信號時與常規方法相比有效地用于顯著降低采樣率。

虛擬著色或染色(英語為virtual staining)是指在顯微術的情景下通過圖像分析和處理從源對比度(例如明場)的相應圖像產生目標對比度(例如熒光)的圖像。尤其是，在此使用基于深度學習的圖像到圖像方法，但是也使用其它機器學習模型。具體地，在過去使用基于卷積神經網絡(英語為convolutional Neural Network，CNN)的深度學習方法。在這些網絡中，卷積是核心運算。

圖1A例如示出以相位對比圖像拍攝細胞，而圖1B示出用某種染料(例如4’,6-二脒-2-苯基吲哚，簡稱DAPI，作為熒光染料，其在熒光顯微術中用于標記DNS(脫氧核糖核酸，英語DNA代表脫氧核糖核酸)對其染色之后的同一細胞區域。圖1B象征表示以熒光對比度拍攝的照片并且應表示細胞對染料的良好接受。由于細胞根據類型和性質不能始終同樣良好地接受染料，并且染色也是耗費復雜的，并且此外可能不利地影響樣品質量，因此值得期望的是，虛擬地通過神經網絡來模擬著色。這例如可以在圖1C中看出，其中，傳統卷積網絡給圖1A中的樣品虛擬染色。