[發明專利]基于無監督學習的屏幕圖像去摩爾紋方法

有效

• 申請號: 202010167813.5
• 申請日: 2020-03-11
• 公開（公告）號: CN111489300B
• 公開（公告）日: 2022-07-08
• 發明（設計）人: 岳煥景;劉芳龍;楊敬鈺
• 申請（專利權）人: 天津大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/04
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 劉國威

本發明屬于計算機視覺領域，為提出更為普適性且方便訓練的基于無監督學習的去摩爾紋方法，實現摩爾紋的去除，且處理后的圖像細節清晰，能很好地處理拍攝過程中造成的亮度和對比度的畸變。為此，本發明采取的技術方案是，基于無監督學習的屏幕圖像去摩爾紋方法，使用不成對的帶摩爾紋的圖片以及無摩爾紋圖片作為輸入，通過訓練，使網絡學習由摩爾紋圖像到干凈圖像之間的映射關系，最終實現輸入摩爾紋圖片，網絡對摩爾紋實現去除，輸出相應無摩爾紋圖片。本發明主要應用于去除摩爾紋。

技術領域

本發明屬于計算機視覺領域，涉及拍屏圖像摩爾紋去除的方法，具體講,涉及基于無監督學習的屏幕圖像去摩爾紋方法。

背景技術

摩爾紋是指兩個不同頻率的陣列混疊在一起時產生的不規則條紋。當用數碼相機拍攝數字顯示設備時，相機感光元件和顯示設備之間產生混疊，便很容易出現嚴重影響拍攝圖像質量的摩爾紋。由于其形狀不規則、顏色多樣、密度各異，摩爾紋很難被去除。

現有的去除拍屏圖像中摩爾紋的方法主要可以分為兩類。一類是使用傳統方法，通過利用摩爾紋的空間和頻率特性，通過在YUV和RGB上聯合處理，進而去除摩爾紋。但是這類方法一般只能去除頻率較高的摩爾紋，而且很容易造成圖像細節過模糊。

另一類方法是使用卷積神經網絡(CNN)來直接學習摩爾紋圖像到對應的干凈圖像之間的映射。然而，這類方法需要大量的成對并嚴格對齊的帶摩爾紋的圖片和干凈圖片來訓練網絡，而且它們并不能很好地處理拍攝過程中造成的亮度和對比度的畸變。

發明內容

為克服現有技術的不足，本發明旨在提出更為普適性且方便訓練的基于無監督學習的去摩爾紋方法。為此，本發明采取的技術方案是，基于無監督學習的屏幕圖像去摩爾紋方法，使用不成對的帶摩爾紋的圖片以及無摩爾紋圖片作為輸入，通過訓練，使網絡學習由摩爾紋圖像到干凈圖像之間的映射關系，最終實現輸入摩爾紋圖片，網絡對摩爾紋實現去除，輸出相應無摩爾紋圖片。

具體步驟如下：

1)分析摩爾紋特征，建立拍屏圖像中摩爾紋模型：

I_m＝I_c+I_mc (1)

I_m為拍屏得到的帶摩爾紋的圖像，I_c是被拍攝的原始圖像，I_mc是摩爾紋層；

2)建立訓練數據集

用不同的手機去拍攝展示在不同型號的顯示設備上的文字、網頁、人物照片、風景照；并將最終得到的帶摩爾紋圖和原始展示的圖像或截屏圖像切成圖像塊用于神經網絡的訓練；

3)設計網絡框架

31)將帶摩爾紋圖像I_m輸入到干凈圖像生成器中，得到去摩爾紋之后的圖像再將輸入到摩爾紋圖像生成器中，得到重現的摩爾紋圖像通過約束和I_m的像素級別以及特征級別的相似性來使得去摩爾紋之后的圖像包含足夠的原圖信息，同時，為了使得兩個生成器能夠更專注于摩爾紋的去除和生成過程，增加輸入干凈圖像I_c生成帶摩爾紋圖像和重構干凈圖像的過程，損失函數選用

其中ψ_i表示經過預訓練的VGG-19網絡，這里選用第2、7、12、21、30層的輸出特征圖；

32)將干凈圖像I_c輸入到去摩爾紋生成器得到I′_c，同時將摩爾紋圖像I_m輸入到去摩爾紋生成器中得到I′_m，讓生成的圖像在像素和向量級別相近來使得兩個生成器在去除/生成摩爾紋的同時對圖像其他部分的內容影響最小，損失函數選用