[發明專利]一種基于生成對抗網絡的傾斜圖像的矯正方法及裝置

有效

• 申請號: 201910059151.7
• 申請日: 2019-01-22
• 公開（公告）號: CN109829857B
• 公開（公告）日: 2021-07-06
• 發明（設計）人: 韓波;陳龍
• 申請（專利權）人: 武漢大學
• 主分類號: G06T3/60
• 分類號: G06T3/60
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 羅飛

1.一種基于生成對抗網絡的傾斜圖像的矯正方法，其特征在于，包括：

步驟S1：從預設開源庫中獲取原始圖片數據，對原始圖片數據進行預處理；

步驟S2：對預處理后的圖片數據建立數據集合，從數據集合中劃分出訓練集；

步驟S3：基于生成對抗網絡，建立用于傾斜圖像矯正的TiltGAN模型；

步驟S4：通過訓練集對TiltGAN模型進行訓練，獲得訓練后的TiltGAN模型；

步驟S5：將原始傾斜圖像輸入所述訓練后的TiltGAN模型，獲得矯正后的第一圖像；

步驟S6：根據矯正后的第一圖像與原始傾斜圖像的灰度值變化，計算原始傾斜圖像的傾斜角度，并基于所述傾斜角度，對原始傾斜圖像進行矯正；

其中，步驟S1中對原始圖片數據進行預處理，具體包括：

統一數據格式、數據凈化以及數據傾斜處理；

步驟S3所述的用于傾斜圖像矯正的TiltGAN模型，包括三個部分，第一部分為提取圖像內容特征的編碼器，包括四個殘差塊；第二部分為提取圖像變換特征的編碼器，包括五個卷積層、一個池化層和一個全連接層；第三部分是解碼器，包括四個殘差塊，用于對圖像變換編碼器提取到的變換特征進行轉化，然后將變換特征與內容特征進行合并，最后輸出圖像；

其中，步驟S2具體包括：

步驟S2.1：按照預處理后的數據是否傾斜分成正常圖像集合Normal{n_1,n_2…n_n}和傾斜圖像Tilt{t_1,t_2…t_n}，其中，n_1、n_2和n_n表示正常圖像集合中的圖像元素，t_1、t_2和t_n表示傾斜圖像集合中的圖像元素；

步驟S2.2：按照預設比例將正常圖像集合劃分為第一訓練集Normal_Train與第一驗證集Normal_Test，按照預設比例將傾斜圖像集合劃分為第二訓練集Tilt_Train與第二驗證集Tilt_Test，其中訓練集包括第一訓練集和第二訓練集；

步驟S4具體包括：

步驟S4.1：構建TiltGAN模型的損失函數，損失函數由四部分構成，圖像重建損失部分圖像內容學習損失部分圖像變換學習損失部分以及對抗損失部分其中，四部分的定義分別如下：

其中，表示圖像類別x₁在其真實分布p下的期望，分別表示圖像類別x₁的內容域和特征域的期望，表示圖像類別x₁的生成器G₁在內容域為c₁，特征域為s₁的情況下生成的圖片；表示內容域c₁在其真實分布p下與特征域s₂在其生成器G₂中學習到的分布q下的期望，表示圖像類別x₂的生成器G₂在內容域為c₁，特征域為s₂下生成的圖片的內容域的期望值；表示圖像類別x₂的生成器G₂在內容域為c₁，特征域為s₂下生成的圖片的特征域的期望值；D₂(G₂(c₁，s₂))表示圖像類別x₂的判別器D₂對圖像類別x₂的生成器G₂在內容域為c₁，特征域為s₂下生成的圖片的判別結果，屬于x₂這一類則結果為1，否則結果為0；表示、圖像類別x₂在其真實分布p下的期望；D₂(x₂)表示圖像類別x₂的判別器D₂對圖像類別x₂中的圖像的判別結果；

步驟S4.2：通過訓練集對模型進行訓練，當損失函數的值達到閾值后，停止訓練，獲得訓練后的TiltGAN模型；

步驟S6具體包括：

步驟S6.1：根據灰度區間λ計算矯正后的第一圖像與原始傾斜圖像的灰度差值score₁；

步驟S6.2：將原始傾斜圖像分別向左旋轉θ₁、向右旋轉θ₁，并計算向左旋轉θ₁后的圖像的第一灰度值和向右旋轉θ₁后的圖像的第二灰度值，然后計算向左旋轉θ₁后的圖像與矯正后的第一圖像的灰度差值score₂、和向右旋轉θ₁后的圖像與矯正后的第一圖像的灰度差值score₃；

步驟S6.3：比較score₁、score₂和score₃，取三者中的最小值，如果最小值為score₂或score₃，則將原始傾斜圖像按score₂或score₃所旋轉的角度進行矯正，重復執行步驟S6.1～步驟S6.2；如果最小值為score₁，若θ₁大于0.5度，則將θ₁更新為原始值的二分之一，重復執行步驟S6.2，若θ₁不大于0.5度，則執行步驟S6.4；

步驟S6.4：將灰度區間λ更新為當前的四分之一，重新計算矯正后的第一圖像與原始傾斜圖像的灰度值，并計算二者的灰度差值score₁′ ；

步驟S6.5：將原始傾斜圖像分別向左旋轉θ₁′ 、向右旋轉θ₁′，并計算向左旋轉θ₁′后的圖像的第一灰度值和向右旋轉θ₁′后的圖像的第二灰度值，然后計算向左旋轉θ₁′后的圖像與矯正后的第一圖像的灰度差值score₂′、和向右旋轉θ₁′后的圖像與矯正后的第一圖像的灰度差值score₃′；

步驟S6.6：對比score₁′，score₂′，score₃′ ，取其中的最小值，其中，最小值對應的圖像為最終矯正后的圖像；

步驟S2中數據傾斜處理，包括：左右各傾斜30度，每傾斜2度保存一次。