[發明專利]一種基于深度學習圖像摩爾紋消除的圖像復原方法

在審

• 申請號: 202011069278.6
• 申請日: 2020-09-30
• 公開（公告）號: CN112184591A
• 公開（公告）日: 2021-01-05
• 發明（設計）人: 史揚藝;楊淑愛;黃坤山
• 申請（專利權）人: 佛山市南海區廣工大數控裝備協同創新研究院;佛山市廣工大數控裝備技術發展有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T7/90;G06T7/13;G06N3/04
• 代理公司: 廣州科沃園專利代理有限公司 44416
• 代理人: 王維霞

本發明涉及一種基于深度學習圖像摩爾紋消除的圖像復原方法，首先采集圖像數據集并預處理；其次利用前景感知網絡對訓練后的圖像數據集進行前景學習，再通過檢測網絡從學習后的圖像數據集中獲得目標邊緣特征圖，接著利用多分辨率分支的多尺度卷積模塊網絡執行摩爾紋消除操作和色調修正操作，通過對不同分支網絡的輸出特征圖融合獲得多尺度融合特征圖；最后利用合成網絡生成消除摩爾紋后的圖像；本發明對多數類型的摩爾紋消除均有良好的圖像還原效果，具有很強的泛化能力與魯棒性能，還能較好的保存原圖片的細節信息。

技術領域

本發明屬于圖像去噪復原技術領域，特別是涉及一種基于深度學習圖像摩爾紋消除的圖像復原方法。

背景技術

對電視、電腦、公共場合的LED屏幕拍照時常常會在照片上出現波紋圖案，降低了照片的圖像質量。這是因為相機濾色鏡陣列會干擾屏幕的亞像素布局，顯示屏和攝像頭感光芯片都是由一個個小元件組成的陣列，顯示屏由紅綠藍三色構成的顯示單元整齊排列構成，形成具有周期性的結構。攝像頭的感光芯片由一個個感光單元排列組成，也具有周期性結構，傳感器接收到的像素排列與顯示器上的像素排列錯位從而顯示出摩爾紋。摩爾紋圖案相比原圖像在頻率、形狀和顏色等方面都產生了變化。

不僅僅是在拍攝屏幕時看到摩爾紋，在拍攝密集條紋形狀的衣服、玻璃窗戶、大樓、電梯時，相機成像元件和被拍攝物體的紋路圖像也會產生摩爾紋。

摩爾紋的產生是由于圖像疊加產生的圖像噪音，當兩個重復圖案(線條、圓圈或者點)以不對齊的方式疊加，由于像素排列的錯位，產生類似波的干涉現象，從而形成不同形態的摩爾紋。摩爾紋放大了錯位，兩種重復圖案間輕微的錯位都可能會產生大規模且顯著的摩爾紋，隨著未對準程度的增加，摩爾紋的頻率也可能增加。要消除摩爾紋，需要滿足屏幕點或條紋的間距小于相機像素尺寸，但這通常不可能。

一般圖像噪聲通常是低頻信息，而圖像的細節信息大多隱含在高頻信息里，所以易分離。但摩爾紋較特殊，它廣泛地存在于高頻與低頻信息中，所以不能通過簡單的信號處理過濾掉，除此之外摩爾紋還會導致原圖像色彩扭曲，摩爾紋是一種混疊干擾噪聲，它的結構與場景信息、相機采樣頻率等相關，不同場景下摩爾紋形狀不同，沒有明顯的分布規律，這些特點都加劇了摩爾紋的消除難度。

現有的對摩爾紋消除領域的研究中，去除摩爾紋的方法主要分成兩大類。一類是使用傳統方法，利用摩爾紋的空間和頻率特性，在YUV和RGB上聯合處理，進而去除摩爾紋。但是這類傳統方法一般只能去除頻率較高的摩爾紋，而且易導致圖像細節模糊。另一類方法是使用卷積神經網絡學習帶摩爾紋的圖像到對應干凈原圖之間的映射。這類方法需要大量成對的帶摩爾紋圖像與無污染原圖來訓練網絡，而且訓練得到的網絡對于拍攝過程中亮度與對比度的畸變不具有很好的魯棒性。因此，現有技術需要進一步改進和完善。

發明內容

為解決上述現有技術中因摩爾紋出現的圖像不清晰、不具備良好的魯棒性的技術問題，本發明設計了一種基于深度學習圖像摩爾紋消除的圖像復原方法，具有很強的泛化能力與魯棒性能，實現了良好的摩爾紋消除效果，具體技術方案如下：

一種基于深度學習圖像摩爾紋消除的圖像復原方法，包括如下步驟：

S1、采集圖像數據集，對圖像數據集進行預處理；

S2、利用前景感知網絡對預處理后的圖像數據集進行物體的前景學習過程，獲得學習后的數據；

S3、通過檢測網絡中的邊緣提取層從學習后的數據中提取每個顏色通道的邊緣圖，以獲得目標邊緣特征圖；

S4、利用多分辨率分支的多尺度卷積模塊網絡對目標邊緣特征圖依次執行摩爾紋消除操作和色調遷移操作，以消除不同頻段的摩爾紋，通過對不同分支網絡的輸出特征圖進行融合獲得最終的多尺度融合特征圖；

S5、利用合成網絡將圖像數據集、目標邊緣特征圖、多尺度融合特征圖進行合并，生成消除摩爾紋后的圖像。