[發明專利]關于冷凍電子斷層重構體圖像的質量恢復方法及系統

在審

• 申請號: 202211247176.8
• 申請日: 2022-10-12
• 公開（公告）號: CN115587947A
• 公開（公告）日: 2023-01-10
• 發明（設計）人: 韓仁敏;張法;楊智東
• 申請（專利權）人: 山東大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/50;G06T17/00;G06N3/04;G06N3/08
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 黃海麗

本發明公開了關于冷凍電子斷層重構體圖像的質量恢復方法及系統；其中所述方法，包括：獲取冷凍電子斷層的二維投影序列；對二維投影序列進行三維重構，得到三維重構圖像；利用訓練后的噪聲生成模型對三維重構圖像進行處理得到噪聲；將噪聲疊加到三維重構圖像中，得到疊加噪聲的圖像；將疊加噪聲的圖像，輸入到訓練后的圖像質量恢復模型中，輸出圖像質量恢復的圖像。

技術領域

本發明涉及冷凍電子斷層成像技術領域，特別是涉及關于冷凍電子斷層重構體圖像的質量恢復方法及系統。

背景技術

本部分的陳述僅僅是提到了與本發明相關的背景技術，并不必然構成現有技術。

冷凍電子斷層掃描(Cryo-ET)成像技術是一種應用于在自然狀態下重建和可視化生物細胞中亞顯微結構的有力成像工具。然而，由于成像儀器和生物樣本的限制，Cryo-ET的投影圖像序列及其三維重構體圖像往往表現出極低的信噪比(Signal-to-Noise Ratio,SNR)和復雜的噪聲，這一特性會對Cryo-ET處理流程中的下游分析任務產生影響。特別地，由于冷凍電鏡的參數配置會因不同的生物樣本發生變化，因此在成像過程當中很難獲取到同一生物樣品的大量圖像數據。因此，在有限數據量的情況下實現針對Cryo-ET重構體的質量恢復問題是該領域內的一個重要研究問題。

針對Cryo-ET重構體圖像的質量恢復，研究者們提出了非常多的基于統計和迭代策略的傳統(非學習)算法。這類方法的第一類思路是基于非局部均值來實現的：利用每個像素周邊的鄰域像素，通過加權平均的方式來進行像素值的估計，如非局部均值算法(Non-Local Mean)。第二類思路則是基于局部相似度度量的圖像塊分組與協同濾波技術，以此來實現非局部信息的融合，如BM4D算法。傳統方法的成立條件包括以下兩點：1.噪聲均值趨近于零；2.能夠獲得足夠多的圖像塊，但這兩個條件在真實數據環境下并不是一直成立的，因此造成了較大的限制。此外，傳統方法的計算量往往偏大，算法的時間復雜度較高，難以集成到Cryo-ET主體流程當中。

隨著深度神經網絡技術的發展，有監督深度學習質量恢復算法在自然圖像中取得了良好的效果。有監督學習的質量恢復算法通常需要大量的(低質量圖像，干凈圖像)的訓練數據對，因此這類方法相較于傳統方法有著更為可靠的圖像結構恢復性能。但有監督學習的質量恢復算法也有著很明顯的問題：首先，有監督學習算法對于訓練數據的要求很高，需要顯式地引入干凈圖像所提供的信息，然而在真實環境下，這類訓練數據的獲取難度是較高的；其次，由于該方法很大程度上依賴訓練數據的分布，所以在很多情況下會出現泛化性不足的問題，如果測試數據和訓練數據分布的距離過大，模型的性能會大幅下降。

為了解決有監督學習中的限制導致的問題，研究者們提出了自監督學習質量恢復算法。自監督學習的質量恢復算法不需要顯式地使用干凈圖像作為標簽進行訓練，基于圖像建模與統計上引入的假設，從低質量含噪聲的圖像中直接學習和預測圖像的結構信息以及對比度等信息，如Noise2Noise、Noise2Void算法，并且自監督學習算法支持類似熒光顯微鏡圖像或Cryo-ET圖像的單樣本訓練。但是這類算法在單樣本訓練下的性能依然有限。自監督學習算法能夠接近有監督學習算法性能的前提是有足夠大量的低質量圖像數據。

發明內容

為了解決現有技術的不足，本發明提供了關于冷凍電子斷層重構體圖像的質量恢復方法及系統；在Cryo-ET圖像的低信噪比、低數據量與無法獲取Ground Truth作為訓練數據的情況下，利用噪聲建模與基于對比度引導項和一階稀疏引導項的自監督學習框架來實現圖像的質量恢復，以解決傳統方法和單樣本自監督學習對于低溫電子斷層掃描術Cryo-ET中復雜噪聲的低魯棒性問題，以及有監督學習方法依賴訓練數據所導致的過擬合問題。

第一方面，本發明提供了關于冷凍電子斷層重構體圖像的質量恢復方法；

關于冷凍電子斷層重構體圖像的質量恢復方法，包括：

獲取冷凍電子斷層的二維投影序列；