[發明專利]神經網絡的訓練方法及設備、圖像處理方法及設備

在審

• 申請號: 202110208892.4
• 申請日: 2021-02-24
• 公開（公告）號: CN112884124A
• 公開（公告）日: 2021-06-01
• 發明（設計）人: 魯轉麗;施佳子;于海燕;楊瑞光
• 申請（專利權）人: 中國工商銀行股份有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06T7/00;G06T7/41;G06T7/90
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 李春偉

1.一種神經網絡的訓練方法，其中，所述神經網絡包括：

對抗學習網絡，用于根據輸入的第一圖像生成第二圖像，所述第一圖像是來自訓練圖像集的圖像且具有標簽值；

特征獲取網絡，用于獲取所述第一圖像的深度卷積特征和所述第二圖像的深度卷積特征；

特征融合網絡，用于將所述第一圖像的深度卷積特征和所述第二圖像的深度卷積特征融合，以得到深度卷積融合特征；以及

回歸網絡，用于處理所述深度卷積融合特征，以得到評測值；

所述訓練方法包括：

通過調整所述神經網絡的至少一個網絡參數，使得利用所述神經網絡處理所述第一圖像與第二圖像得到的評測值，趨近于所述第一圖像的標簽值。

2.根據權利要求1所述的訓練方法，其中，所述對抗學習網絡包括：生成網絡；紋理生成模塊；第一判別網絡；以及第二判別網絡；

其中，所述訓練方法包括：

獲取訓練圖像集；

由生成網絡根據所述第一圖像生成所述第二圖像和第三圖像，并由第一判別網絡確定所述第二圖像與目標圖像之間的第一判別結果，其中，所述第三圖像包含所述第二圖像的紋理信息，所述目標圖像是所述訓練圖像集中與所述第一圖像配對的圖像；

由紋理生成模塊根據所述第一圖像和所述目標圖像生成所述第四圖像，并由第二判別網絡確定所述第三圖像與所述第四圖像之間的第二判別結果；

根據所述第一判別結果和/或所述第二判別結果調整所述生成網絡的參數。

3.根據權利要求2所述的訓練方法，其中，所述根據所述第一圖像和所述目標圖像生成第四圖像包括：

通過紋理提取函數提取所述第一圖像的第一紋理信息和所述目標圖像的目標紋理信息，并將所述第一紋理信息與所述目標紋理信息進行融合得到所述第四圖像。

4.根據權利要求1所述的訓練方法，其中，所述通過調整所述神經網絡的網絡參數包括以下中的至少一個：

調整所述特征獲取網絡的參數；

調整所述特征融合網絡的參數；

調整所述回歸網絡的參數。

5.一種圖像處理方法，用于將二維圖像轉換成三維圖像，包括：

獲取二維圖像，所述二維圖像具有圖像屬性；

根據所述圖像屬性中的至少一個參數權重值計算屬性得分；

若所述屬性得分高于第一預設閾值，則利用質量評價模型對所述二維圖像進行質量評價，得到質量得分；以及

若所述質量得分高于第二預設閾值，則通過圖像轉換模型將所述二維圖像轉換成三維圖像；

其中，所述質量評價模型包括：對抗學習網絡，用于根據輸入的第一圖像生成第二圖像，所述第一圖像是來自訓練圖像集的圖像且具有標簽值；特征獲取網絡，用于獲取所述第一圖像的深度卷積特征和所述第二圖像的深度卷積特征；特征融合網絡，用于將所述第一圖像的深度卷積特征和所述第二圖像的深度卷積特征融合，以得到深度卷積融合特征；以及回歸網絡，用于處理所述深度卷積融合特征，以得到評測值；

其中，所述質量評價模型是通過權利要求1-4中任意一項所述的神經網絡的訓練方法訓練的。

6.如權利要求5所述的處理方法，其中，所述通過圖像轉換模型將所述二維圖像轉換成三維圖像包括：

提取所述二維圖像的RGB-D圖像信息，并基于所述RGB-D圖像信息得到分層的深度圖像。

7.如權利要求6所述的處理方法，其中，基于所述RGB-D圖像信息得到分層的深度圖像包括：

所述圖像轉換模型根據輸入的RGB-D圖像，得到單層深度圖像，檢測所述深度圖像中的深度信息，將所述深度圖像的深度信息連續的像素點劃分為連續區域，將深度信息不連續的像素點斷開，形成斷開邊，得到與所述斷開邊連接的前景像素和背景像素；

選擇位于所述背景像素一側的所述連續區域，根據所述連續區域的靠近所述斷開邊的像素點的顏色和深度，合成與所述連續區域相連接且具有相近深度和顏色的合成區域，并將所述合成區域補入所述分層的深度圖像。

8.如權利要求5所述的處理方法，其中，所述圖像屬性包括：亮度值、梯度值、清晰度值、深度值中至少一個。