[發明專利]一種圖像去反射方法、系統、裝置及存儲介質

在審

• 申請號: 202210387641.1
• 申請日: 2022-04-14
• 公開（公告）號: CN114926352A
• 公開（公告）日: 2022-08-19
• 發明（設計）人: 韋志宇;黃艷;全宇暉;何旭怡;陳騰躍
• 申請（專利權）人: 華南理工大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/04;G06N3/08
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 鄭宏謀

1.一種圖像去反射方法，其特征在于，包括以下步驟：

合成反射圖像，根據反射圖像構建包含背景層圖像和反射層圖像的合成數據集；

確定基礎濾波器，根據基礎濾波器構造多種形態濾波器，作為強化濾波中的動作集A；

將合成數據集中的反射圖像輸入深度強化學習網絡，輸出所述反射圖像的價值V和策略π兩部分；

根據策略π從動作集A中選擇形態濾波器，對輸入的反射圖像去反射，得到對應的背景層圖像和反射層圖像；

根據得到的背景層圖像和反射層圖像對深度強化學習網絡進行訓練；

將測試數據集中的反射圖像輸入訓練好的深度強化學習網絡，輸出對應的反射層圖像和背景層圖像。

2.根據權利要求1所述的一種圖像去反射方法，其特征在于，所述基礎濾波器包括高斯濾波器、雙邊濾波器、中值濾波器；

所述確定基礎濾波器，根據基礎濾波器構造多種形態濾波器，作為強化濾波中的動作集A，包括：

選擇基礎濾波器；

將一個正方形的基礎濾波器過中心均分為多份，設計有8種不同區域，分別表示為A1到A8；

將區域繞濾波器中心點做不同角度的旋轉，分別得到一系列的區域，屬于區域內的權值等于對應基礎濾波器的權值，其余部分權值置零；

約束每個新構造出來的濾波器權值總和為1，從而得到一系列不同的形態濾波器組合而成的動作集A。

3.根據權利要求1所述的一種圖像去反射方法，其特征在于，所述深度強化學習網絡包括策略網絡和價值網絡，所述將合成數據集中的反射圖像輸入深度強化學習網絡，輸出所述反射圖像的價值V和策略π兩部分，包括：

將反射圖像輸入深度強化學習網絡進行特征提取，獲得特征圖像，將特征圖像輸入到策略網絡和價值網絡；

其中，策略網絡共有四層濾波器，其中前三層為64個大小為3×3×64的濾波器的卷積層和激活函數ReLU；第四層的濾波器大小為3×3×64，輸出維度等于動作集的大小，代表每個動作的策略π；

價值網絡共有三層濾波器，其中前兩層為64個大小為3×3×64的濾波器的卷積層和激活函數ReLU；第三層的濾波器大小為3×3×64，輸出維度為1，代表當前的價值V。

4.根據權利要求1所述的一種圖像去反射方法，其特征在于，所述根據策略π從動作集A中選擇形態濾波器，對輸入的反射圖像去反射，得到對應的背景層圖像和反射層圖像，包括：

根據得到的關于每個動作的策略π，從動作集A中選擇最優策略對應的濾波器，采用選擇獲得的濾波器對對應的區域做卷積操作，得到當前的背景層圖像T’和反射層圖像R’。

5.根據權利要求3所述的一種圖像去反射方法，其特征在于，所述根據得到的背景層圖像和反射層圖像對深度強化學習網絡進行訓練，包括：

根據得到的背景層圖像和反射層圖像，進行梯度計算，采用反向傳播算法訓練深度強化學習網絡的參數；

其中，計算策略網絡的梯度的方式如下：

式中，表示第t次迭代的背景層圖像的狀態，a^(t)表示第t次迭代的動作，I^target表示原背景層圖像，表示第t+n次迭代的背景層圖像的價值；

其中，計算價值網絡的梯度的方式如下：

式中，表示第t次迭代的背景層圖像的狀態，表示第t次迭代的背景層圖像的價值，R^(t)表示第t次迭代的獎勵。

6.根據權利要求5所述的一種圖像去反射方法，其特征在于，在訓練過程中，損失函數的計算公式如下：

其中，I^target表示原背景層圖像，表示第t次迭代的背景層圖像的狀態，表示第t-1次迭代的背景層圖像的狀態。