[發明專利]生成式對抗網絡訓練方法、圖像補全方法、設備及存儲介質

有效

• 申請號: 201910335424.6
• 申請日: 2019-04-24
• 公開（公告）號: CN110210514B
• 公開（公告）日: 2021-05-28
• 發明（設計）人: 楊剛;冀儉儉;楊猛
• 申請（專利權）人: 北京林業大學
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 北京太合九思知識產權代理有限公司 11610
• 代理人: 張愛;劉戈

1.一種圖像補全方法，適用于計算設備，其特征在于，所述方法包括：

獲取待補全圖像，所述待補全圖像含有缺失區域；

將所述待補全圖像輸入預先訓練出的圖像補全網絡，利用所述圖像補全網絡對所述缺失區域進行圖像補全，得到補全后的圖像；

其中，所述圖像補全網絡是利用第一局部上下文判別器、第二局部上下文判別器和全局判別器進行對抗訓練得到的；所述第一局部上下文判別器保持圖像補全的局部一致性，所述第二局部上下文判別器保持圖像補全的中心一致性，所述全局判別器保持圖像補全的全局一致性；

其中，圖像補全網絡的訓練過程，包括：

利用包含缺失區域的樣本圖像，進行圖像補全訓練，得到初步補全網絡和初步補全圖像；其中，樣本圖像是原始圖像增加缺失區域后形成的圖像集；

從初步補全圖像中提取第一局部圖像和第二局部圖像；其中，第一局部圖像是初步補全圖像中以補全區域為中心的圖像塊，第二局部圖像是位于所述補全區域中心的圖像塊；

將第一局部圖像輸入初始判別器，以第一局部圖像與原始圖像中的對應區域之間的對抗損失作為目標函數，對初始判別器進行訓練，得到第一局部上下文判別器；

將第二局部圖像輸入初始判別器，以第二局部圖像與原始圖像中的對應區域之間的對抗損失作為目標函數，對初始判別器進行訓練，得到第二局部上下文判別器；

將初步補全圖像輸入初始判別器，以初步補全圖像與原始圖像之間的對抗損失作為目標函數，對初始判別器進行訓練，得到全局判別器；

利用包含缺失區域的樣本圖像，通過第一局部上下文判別器、第二局部上下文判別器和全局判別器聯合對初級補全網絡進行對抗訓練，得到圖像補全網絡。

2.根據權利要求1所述的方法，其特征在于，獲取待補全圖像，包括：

將原始圖像中與圖像內容不匹配的圖像區域進行剪切，得到所述待補全圖像；或者

獲取原本包含缺失區域的圖像作為所述待補全圖像。

3.一種生成式對抗網絡訓練方法，適用于服務端設備，其特征在于，所述方法包括：

利用包含缺失區域的樣本圖像，進行圖像補全訓練，得到初步補全網絡和初步補全圖像；其中，樣本圖像是原始圖像增加缺失區域后形成的圖像集；

從初步補全圖像中提取第一局部圖像和第二局部圖像；其中，第一局部圖像是初步補全圖像中以補全區域為中心的圖像塊，第二局部圖像是位于所述補全區域中心的圖像塊；

利用初步補全圖像，進行判別器訓練，得到第一局部上下文判別器、第二局部上下文判別器和全局判別器；

利用包含缺失區域的樣本圖像，通過第一局部上下文判別器、第二局部上下文判別器和全局判別器聯合對初級補全網絡進行對抗訓練，得到圖像補全網絡；

其中，所述第一局部上下文判別器保持圖像補全的局部一致性，所述第二局部上下文判別器保持圖像補全的中心一致性，所述全局判別器保持圖像補全的全局一致性；

利用初步補全圖像，進行判別器訓練，得到第一局部上下文判別器、第二局部上下文判別器和全局判別器，包括：

將第一局部圖像輸入初始判別器，以第一局部圖像與原始圖像中的對應區域之間的對抗損失作為目標函數，對初始判別器進行訓練，得到第一局部上下文判別器；

將第二局部圖像輸入初始判別器，以第二局部圖像與原始圖像中的對應區域之間的對抗損失作為目標函數，對初始判別器進行訓練，得到第二局部上下文判別器；

將初步補全圖像輸入初始判別器，以初步補全圖像與原始圖像之間的對抗損失作為目標函數，對初始判別器進行訓練，得到全局判別器。

4.根據權利要求3所述的方法，其特征在于，利用包含缺失區域的樣本圖像，進行圖像補全訓練，得到初步補全網絡和初步補全圖像，包括：

將所述樣本圖像和由所述樣本圖像二值化得到的二值圖像作為輸入參數，利用包含缺失區域的樣本圖像與原始圖像中與所述缺失區域相應區域的均方誤差進行圖像補全訓練，得到初步補全網絡；

固定初步補全網絡的網絡參數，得到初步補全圖像。