[發明專利]一種基于卷積神經網絡CNN的三片簡單透鏡圖像復原方法

在審

• 申請號: 201710997396.5
• 申請日: 2017-10-17
• 公開（公告）號: CN107730469A
• 公開（公告）日: 2018-02-23
• 發明（設計）人: 張智福;余思洋;陳捷
• 申請（專利權）人: 長沙全度影像科技有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明涉及一種圖像復原領域，具體指一種基于卷積神經網絡CNN的三片簡單透鏡圖像復原方法。

背景技術

近年來，簡單透鏡計算成像逐漸成為圖像復原領域一個新的研究方向。簡單透鏡計算成像旨在利用前端盡可能簡單的光學鏡頭結構結合后期圖像計算方法，得到與單反相機等高端相機近似的成像質量。簡單透鏡計算成像能極大地降低鏡頭的光學設計成本，在圖像復原和光學設計領域都具有重要的研究價值。

簡單透鏡的鏡頭通常只包含一片、兩片或者三片鏡片，前端光學結構簡單，所以成像過程中鏡片自身的像差和色差會導致圖像模糊。目前簡單透鏡計算成像的主要方法是由盲卷積圖像復原直接得到清晰圖像，或者首先估計出簡單透鏡的模糊核，即點擴散函數PSF(Point Spread Function)，然后再利用非盲卷積圖像復原方法得到清晰圖像。專利ZL.201510223789.1公開了一種基于圖像顏色平緩變化先驗的單透鏡計算成像方法，首先用盲卷積圖像復原方法結合圖像顏色平緩變換先驗估計出單透鏡的PSF，然后利用非盲卷積圖像復原方法得到最終的清晰圖像?，F有方法的主要缺點在于：(1)無論是盲卷積還是非盲卷積圖像復原方法都需要大量迭代優化過程，圖像處理計算時間長；(2)為提高圖像復原精度，一般先要估計出單透鏡的PSF，再單獨進行圖像復原處理，整個圖像處理過程比較復雜；(3)即使已經估計出PSF，每張模糊圖像仍需要進行非盲卷積算法處理，不利于簡單透鏡計算成像在實際中處理大量圖像。

三片簡單透鏡相對于只包含一片或者兩片鏡片的簡單透鏡，其成像精度較好，而且整幅圖像中圖像模糊程度的空間變化性不大，目前三片簡單透鏡更有實際應用價值，但是也存在上述簡單透鏡計算成像的缺點，因此，為了使三片簡單透鏡更好地在實際中應用，設計快速方便的針對三鏡片簡單透鏡的計算成像方法，是簡單透鏡計算成像急需解決的問題。

發明內容

本發明為克服上述情況不足，旨在提供一種基于卷積神經網絡CNN的三片簡單透鏡圖像復原方法，避免傳統簡單透鏡計算成像方法中復雜的迭代優化過程，而且無需單獨進行PSF估計，實現端到端的三鏡片簡單透鏡快速圖像復原。

一種基于卷積神經網絡CNN的三片簡單透鏡圖像復原方法，其特征在于，包括以下步驟：

步驟一：生成三片簡單透鏡對應的模糊圖像與清晰圖像數據集。

所述步驟一中生成三片簡單透鏡對應的模糊圖像與清晰圖像數據集的具體方法包括如下步驟：

步驟1.1：將棋盤格圖像在電腦屏幕上全屏顯示，用三片簡單透鏡拍攝電腦屏幕，得到拍攝的棋盤格圖像；

步驟1.2：將一張清晰圖像在電腦屏幕上全屏顯示，用三片簡單透鏡拍攝電腦屏幕，得到拍攝的模糊圖像；

步驟1.3：基于步驟1.1拍攝的棋盤格圖像，采用角點檢測方法，得到精準匹配的三鏡片簡單透鏡的清晰圖像與模糊圖像對；

步驟1.4：準備N張清晰圖像，依次重復上述步驟1.2和步驟1.3，最終得到三片簡單透鏡對應的模糊圖像與清晰圖像數據集。

步驟二：構建用于端到端圖像復原的卷積神經網絡CNN模型。

所述步驟二中的卷積神經網絡CNN模型的具體結構包括七層，分別是輸入層、卷積層、子采樣層、卷積層、子采樣層、全連接層和輸出層，不同層之間依靠關系權重矩陣連接，分別是W₁、W₂、W₃、W₄、W₅、W₆，輸入是數據集中的模糊圖像，輸出是數據集中與該模糊圖像對應的清晰圖像。

步驟三：利用所生成的數據集對卷積神經網絡CNN模型進行訓練，得到訓練好的CNN模型；

所述步驟三中卷積神經網絡CNN模型的訓練可選用Python或Caffe等常見框架。

訓練卷積神經網絡CNN模型即確定模型中不同層之間的關系權重矩陣。

步驟四：對于三片簡單透鏡新拍攝的模糊圖像，直接將模糊圖像輸入已訓練好的CNN模型，即可快速得到復原后的清晰圖像。

一旦CNN模型訓練完畢，利用該CNN模型處理新模糊圖像的速度非?？?，一張1080P的圖像處理速度不到1s。

步驟一至步驟三是預處理過程，得到訓練好的CNN模型之后，可將其應用到后續三鏡片簡單透鏡拍攝的所有同類型模糊圖像處理中。