[發明專利]一種基于生成對抗網絡的反射消除方法

在審

• 申請號: 202011504507.2
• 申請日: 2020-12-18
• 公開（公告）號: CN112581396A
• 公開（公告）日: 2021-03-30
• 發明（設計）人: 王宏偉;成孝剛;宋麗敏;邵文杰;蔡勇
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06T5/00
• 分類號: G06T5/00
• 代理公司: 南京瑞弘專利商標事務所(普通合伙) 32249
• 代理人: 徐激波

1.一種基于生成對抗網絡的反射消除方法，其特征在于，包括如下步驟：

步驟S1、建立數據集，按照一定比例將所述數據集分成訓練集和測試集，所述數據集包括：背景圖像、反射圖像和混合圖像，所述混合圖像為所述背景圖像與所述反射圖像加權合并而成；

步驟S2、構建反射消除網絡模型，所述反射消除網絡模型包含生成器網絡和判決器網絡；

步驟S3、根據訓練目標以及所述反射消除網絡模型的架構，定義出所需的損失函數；

步驟S4、利用所述訓練集對所述反射消除網絡模型進行迭代訓練直到所述損失函數收斂；

步驟S5、通過所述測試集測試訓練后的反射消除網絡模型，并且判斷是否符合要求，若不符合，繼續進行步驟S4，直到測試結果符合要求；若符合，則輸出最終的反射消除網絡模型；

步驟S6、利用步驟S5得到的反射消除網絡模型消除輸入圖像中的反射。

2.根據權利要求1所述的一種基于生成對抗網絡的反射消除方法，其特征在于，在所述步驟S1中，所述數據集具有滿足訓練規模的多組圖像，每組圖像包括一張背景圖像，一張反射圖R和一張混合圖像，所述訓練集中的背景圖像定義為真實圖像。

3.根據權利要求2所述的一種基于生成對抗網絡的反射消除方法，其特征在于，在所述步驟S2中，所述生成器網絡包括一個編碼器和一個解碼器；

所述編碼器由13個3*3卷積層，5個最大池層構成，用以提取圖像的細節部分特征圖，所述細節部分特征圖包括背景特征和反射特征；

所述解碼器接收所述細節部分特征圖并且重新構建圖像，所述解碼器輸出的重新構建的圖像定義為虛假圖像；

所述解碼器與所述編碼器一一對應進行升采樣，所述解碼器中的池化層與所述編碼器中的池化層以相同的空間分辨率進行連接；

所述判決器網絡由6個3*3的卷積層，2個最大池化層以及最終的一個sigmoid層構成，所述判決器網絡接收所述解碼器輸出的虛假圖像和數據集中的真實圖像，并且判斷接收的圖像是虛假的還是真實的。

4.根據權利要求3所述的一種基于生成對抗網絡的反射消除方法，其特征在于，所述步驟S3具體為：

步驟S301、定義生成對抗損失函數；

所述生成對抗損失函數的表達式為：

在公式(1)中，x表示數據集中的混合圖像；G(x)表示生成器網絡輸出的重新構建的背景圖像，即虛假圖像；y表示數據集中的背景圖像，即真實圖像；其中G表示生成器網絡，D表示判決器網絡，E_x,y則表示對于對兩者圖像求得絕對值誤差后的期望；

所述生成對抗損失函數的作用在于，當生成器網絡和判決器網絡在不斷迭代的過程中，不斷最小化生成器網絡輸出的虛假圖像與數據集中真實圖像之間的差異，并且最大化判決器網絡的判斷能力；

步驟S302、定義L1損失函數，所述L1損失函數的表達式為：

在公式(2)中，y表示數據集中的背景圖像，即真實的背景圖像，G(x)表示生成器網絡生成的消除反射的背景圖像，即是重新構建的背景圖像，E_x,y則表示對于對兩者圖像求得絕對值誤差后的期望；

L1損失函數的作用在于約束生成器網絡的重建輸出，使的生成器網絡輸出的圖像能夠迷惑住判決器網絡，使得生成器網絡產生與真實圖像相似的圖像；

步驟S303、定義判斷圖像結構相似性的損失函數，所述損失函數表達式為：

在公式(3)中，SSIM為衡量兩幅圖像相似度的指標，SSIM_x,y(G)表示為衡量真實圖像y和生成網絡G所生成的圖像之間的結構相似性函數，所述函數的作用在于約束生成器網絡重建的圖像與數據集中背景圖像的差異，抑制生成器網絡重建的圖像與真實圖像之間出現結構性的偏差；

SSIM_x,y(G)的表達式為：

在公式(4)中，c₁，c₂為正則化常數，μ為均值，σ為方差，x,y分別表示生成圖像和真實圖像，μ_x和μ_y分別表示生成圖像和真實圖像的均值，σ_x、σ_y和σ_xy分別表示為生成圖像和真實圖像的方差及兩者之間的協方差；

步驟S304、定義最終的損失函數，表達式為：

在公式(5)中，表示為生成對抗損失函數，表示為L1損失函數，λ為L1損失函數的權重，表示為結構相似性損失函數。