[發明專利]反射圖像生成模型及反射去除模型的訓練方法

在審

• 申請號: 202110309311.6
• 申請日: 2021-03-23
• 公開（公告）號: CN112802076A
• 公開（公告）日: 2021-05-14
• 發明（設計）人: 汪磊;李瑮;毛曉蛟
• 申請（專利權）人: 蘇州科達科技股份有限公司
• 主分類號: G06T7/514
• 分類號: G06T7/514;G06T5/00;G06N3/04;G06N3/08
• 代理公司: 北京三聚陽光知識產權代理有限公司 11250
• 代理人: 張琳琳

本發明涉及圖像處理技術領域，具體涉及反射圖像生成模型及反射去除模型的訓練方法，所述反射圖像生成模型的訓練方法包括獲取任意的無反射樣本圖像與反射樣本圖像；將反射樣本圖像輸入反射去除模型中得到預測無反射圖像，并利用反射樣本圖像與預測無反射圖像，得到預測反射層圖像特征；將預測反射層圖像特征與無反射樣本圖像輸入反射圖像生成模型中，得到預測反射圖像；基于預測無反射圖像與預測反射圖像進行損失函數的計算，對反射去除模型以及反射圖像生成模型進行訓練，以得到目標反射圖像生成模型。利用非配對的無反射樣本圖像與反射樣本圖像進行模型訓練，且加入真實數據進行建模，使得反射圖像生成模型具有優秀的泛化能力。

技術領域

本發明涉及圖像處理技術領域，具體涉及反射圖像生成模型及反射去除模型的訓練方法。

背景技術

在通過鏡面拍攝圖像或視頻時，圖像往往會包含鏡面反射的物體，嚴重影響呈現圖像的質量。隨著深度學習方法在圖像處理方向的廣泛應用，可以通過神經網絡的方式對反射圖像進行反射的去除，從而得到無反射圖像。

在神經網絡的訓練過程中，需要成對的樣本圖像，即，反射圖像與對應的無反射圖像。而在真實場景中，成對的樣本圖像獲取較為困難，一般采用各種線性或非線性的方式將無反射圖像和反射層的圖像進行融合，從而形成具有反射的圖像。例如，一幅具有反射的圖像可以表示為：

RI＝α×TL+(1-α)×RL；

上式中，RI表示具有反射現象的圖像(即，反射圖像)，TL表示無反射圖像，RL表示反射層的圖像，α表示融合系數。即，一幅有反射的圖像可以表示為反射圖像和背景圖像通過特定的系數融合而成。

基于此，一般是采集到無反射圖像之后，采用上述公式將無反射圖像與反射層的圖像進行融合，得到與無反射圖像對應的反射圖像。然而，這些簡單的系數融合往往不能充分的表示真實場景復雜的成像模式，導致樣本圖像難以代表復雜真實的場景。

發明內容

有鑒于此，本發明實施例提供了一種反射圖像生成模型及反射去除模型的訓練方法，以解決通過系數融合得到的樣本圖像難以代表復雜真實的場景的問題。

根據第一方面，本發明實施例提供了一種反射圖像生成模型的訓練方法，包括：

獲取任意的無反射樣本圖像與反射樣本圖像；

將所述反射樣本圖像輸入反射去除模型中得到預測無反射圖像，并利用所述反射樣本圖像與所述預測無反射圖像，得到預測反射層圖像特征；

將所述預測反射層圖像特征與所述無反射樣本圖像輸入反射圖像生成模型中，得到預測反射圖像；

將所述預測無反射圖像以及所述預測反射圖像分別輸入第一鑒別器以及第二鑒別器，分別得到第一鑒別結果以及第二鑒別結果，以確定第一鑒別損失；

基于所述第一鑒別損失，對所述反射去除模型以及所述反射圖像生成模型進行訓練，以得到目標反射圖像生成模型。

本發明實施提供的反射圖像生成模型的訓練方法，利用非配對的無反射樣本圖像與反射樣本圖像進行模型訓練，且在訓練過程中實現反射與無反射的互相轉換，用于模擬真實反射場景下的圖像。在訓練過程中使用真實反射圖像并使用對抗訓練的技術進行監督，通過加入真實數據對算法最終應用的場景信息進行建模，使得該發射圖像生成模型具有優秀的泛化能力，從而使得所得到的目標反射圖像生成模型能夠生成更真實、更大量的反射圖像。

結合第一方面，在第一方面第一實施方式中，所述基于所述第一鑒別損失，對所述反射去除模型以及所述反射圖像生成模型進行訓練，以得到所述反射圖像生成模型對應的目標反射圖像生成模型，包括：

分別對所述預測無反射圖像以及所述預測反射圖像進行圖像重建，得到重建反射圖像與重建無反射圖像；