[發明專利]基于無監督學習的屏幕圖像去摩爾紋方法

有效

• 申請號: 202010167813.5
• 申請日: 2020-03-11
• 公開（公告）號: CN111489300B
• 公開（公告）日: 2022-07-08
• 發明（設計）人: 岳煥景;劉芳龍;楊敬鈺
• 申請（專利權）人: 天津大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/04
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 劉國威

1.一種基于無監督學習的屏幕圖像去摩爾紋方法，其特征是，使用不成對的帶摩爾紋的圖片以及無摩爾紋圖片作為輸入，通過訓練，使網絡學習由摩爾紋圖像到干凈圖像之間的映射關系，最終實現輸入摩爾紋圖片，網絡對摩爾紋實現去除，輸出相應無摩爾紋圖片；具體步驟如下：

1)分析摩爾紋特征，建立拍屏圖像中摩爾紋模型：

I_m＝I_c+I_mc (1)

I_m為拍屏得到的帶摩爾紋的圖像，I_c是被拍攝的原始圖像，I_mc是摩爾紋層；

2)建立訓練數據集

用不同的手機去拍攝展示在不同型號的顯示設備上的文字、網頁、人物照片、風景照；并將最終得到的帶摩爾紋圖和原始展示的圖像或截屏圖像切成圖像塊用于神經網絡的訓練；

3)設計網絡框架

31)將帶摩爾紋圖像I_m輸入到干凈圖像生成器中，得到去摩爾紋之后的圖像再將輸入到摩爾紋圖像生成器中，得到重現的摩爾紋圖像通過約束和I_m的像素級別以及特征級別的相似性來使得去摩爾紋之后的圖像包含足夠的原圖信息，同時，為了使得兩個生成器能夠更專注于摩爾紋的去除和生成過程，增加輸入干凈圖像I_c生成帶摩爾紋圖像和重構干凈圖像的過程，損失函數選用

其中ψ_i表示經過預訓練的VGG-19網絡，這里選用第2、7、12、21、30層的輸出特征圖，λ₁，λ₂，λ₃和λ₄為權重；

32)將干凈圖像I_c輸入到去摩爾紋生成器得到I′_c，同時將摩爾紋圖像I_m輸入到去摩爾紋生成器中得到I′_m，讓生成的圖像在像素和向量級別相近來使得兩個生成器在去除/生成摩爾紋的同時對圖像其他部分的內容影響最小，損失函數選用

其中cos(x,y)表示x和y的余弦相似度；

33)用輸入的摩爾紋圖像I_m減去去摩爾紋之后的結果得到摩爾紋層I_mc，將得到的摩爾紋層合成到干凈圖像I_c上得到合成摩爾紋圖像通過約束合成摩爾紋圖像與干凈圖像I_c之間的語義信息差別使得去除的摩爾紋層盡量不包含原圖的內容信息，損失函數選用

其中ψ_j表示經過預訓練的VGG-19網絡，這里選用第30層的輸出特征圖；

34)使用兩組尺度不同的判別器和來從不同的尺度來判別生成的干凈圖與真實的干凈圖之間的差別，和判別生成的摩爾紋圖與真實的摩爾紋圖之間的差別，使得生成圖像和更加真實，對抗損失函數選用

其中M和C分別指摩爾紋圖像數據集和干凈圖像數據集；

35)訓練判別器時使用的損失函數選用

訓練小尺度判別器的損失函數和大尺度損失函數定義相同；

4)設計網絡結構

41)生成器和具有相同的結構，分別是：卷積核大小7*7卷積層—核大小3*3卷積層—核大小3*3卷積層—核大小3*3卷積層—9個殘差塊—核大小3*3反卷積層—核大小3*3反卷積層—核大小7*7卷積層；除了最后的卷積層接tanh激活層，其他卷積層都接著實例標準化層和ReLU激活層，殘差塊中是兩個3*3的卷積層，其中第一個卷積層接著實例標準化層和ReLU激活層，第二個卷積層只接實例標準化層；

42)大尺度判別器和具有相同的網絡結構，分別為：卷積核大小4*4卷積層—核大小4*4卷積層—核大小4*4卷積層—核大小4*4卷積層—核大小4*4卷積層；小尺度判別器和具有相同的網絡結構，分別為：卷積核大小4*4卷積層—核大小1*1卷積層—卷積層核大小1*1；每個判別器中除了最后一層只有卷積層之外其他卷積層之后都接著實例標準化層和LeakyReLU激活層；

5)設置好網絡的學習率和各部分損失函數的權重，利用深度學習框架Pytorch訓練上述卷積神經網絡，直到損失收斂，生成訓練模型；

6)將帶有摩爾紋的圖片輸入到網絡中得到對應的去摩爾紋之后的干凈圖。

2.如權利要求1所述的基于無監督學習的屏幕圖像去摩爾紋方法，其特征是，步驟5)的具體步驟是：

51)確定網絡結構之后，將訓練數據輸入到網絡；

52)在網絡訓練階段，學習率設置為0.0002，權重λ₁，λ₂，λ₃，λ₄分別設置為10,1,2,2；

53)進行訓練，得到摩爾紋圖像和去掉摩爾紋的干凈圖像之間的映射關系。