[發明專利]圖像生成模型訓練方法以及裝置

在審

• 申請號: 202011211891.7
• 申請日: 2020-11-03
• 公開（公告）號: CN112184611A
• 公開（公告）日: 2021-01-05
• 發明（設計）人: 李順愷;王萌;程遠;徐富榮;高生兵;葛官法;程丹妮;朱旻蕓;楊路光
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T15/00
• 代理公司: 北京智信禾專利代理有限公司 11637
• 代理人: 吳肖肖

1.一種圖像生成模型訓練方法，包括：

獲取目標對象的至少兩張第一樣本圖像以及第一樣本基準圖像；

計算每張第一樣本圖像相對于所述第一樣本基準圖像的第一樣本位姿變換矩陣；

將所述每張第一樣本圖像進行深度估計，獲得所述每張第一樣本圖像的第一樣本深度圖像；

基于所述第一樣本圖像、所述第一樣本位姿變換矩陣以及所述第一樣本深度圖像對初始圖像生成模型進行模型訓練，獲得針對所述目標對象的三維圖像的圖像生成模型。

2.根據權利要求1所述的圖像生成模型訓練方法，所述基于所述第一樣本圖像、所述第一樣本位姿變換矩陣以及所述第一樣本深度圖像對初始圖像生成模型進行模型訓練，獲得針對所述目標對象的三維圖像的圖像生成模型，包括：

將所述第一樣本圖像、所述第一樣本位姿變換矩陣、第一樣本深度圖像組成訓練樣本集；

將所述訓練樣本集中的訓練樣本輸入所述初始圖像生成模型的編碼模塊，生成中間三維形變向量；

將所述中間三維形變向量輸入所述初始圖像生成模型的解碼模塊進行解碼，獲得所述目標對象的中間三維圖像；

確定所述中間三維圖像在所述第一樣本位姿變換矩陣對應的拍攝視角的中間深度圖像；

計算所述中間深度圖像和所述樣本深度圖像的誤差，并根據計算結果對所述初始圖像生成模型進行迭代訓練，獲得所述圖像生成模型。

3.根據權利要求1所述的圖像生成模型訓練方法，還包括：

獲取所述目標對象的第一圖像以及基準圖像；

計算所述第一圖像相對于所述基準圖像的位姿變換矩陣；

將所述第一圖像進行深度估計，獲得所述第一圖像的深度圖像；

將所述位姿變換矩陣、所述深度圖像以及所述第一圖像輸入所述圖像生成模型進行三維重建，獲得所述目標對象的目標三維圖像。

4.根據權利要求3所述的圖像生成模型訓練方法，所述將所述位姿變換矩陣、所述深度圖像以及所述第一圖像輸入所述圖像生成模型進行三維重建，獲得所述目標對象的目標三維圖像，包括：

將所述位姿變換矩陣、所述深度圖像以及所述第一圖像輸入所述圖像生成模型的編碼模塊進行特征編碼，獲得三維形變向量；

將所述三維形變向量輸入所述圖像生成模型的解碼模塊進行解碼，獲得所述目標對象的所述目標三維圖像。

5.根據權利要求1所述的圖像生成模型訓練方法，所述計算每張第一樣本圖像相對于所述第一樣本基準圖像的第一樣本位姿變換矩陣，包括：

對所述每張第一樣本圖像進行關鍵點檢測，獲得第一關鍵點集合，并對所述第一樣本基準圖像進行關鍵點檢測，獲得基準關鍵點集合；

將所述第一關鍵點集合中第一關鍵點與所述基準關鍵點集合中的基準關鍵點進行關鍵點匹配，獲得關鍵匹配點集合；

基于所述關鍵匹配點集合，計算所述第一樣本圖像相對于所述第一樣本基準圖像的第一樣本位姿變換矩陣。

6.根據權利要求1所述的圖像生成模型訓練方法，所述將所述每張第一樣本圖像進行深度估計，獲得所述每張第一樣本圖像的第一樣本深度圖像，包括：

將所述每張第一樣本圖像輸入深度圖像模型進行深度估計，獲得所述每張第一樣本圖像的第一樣本深度圖像。

7.根據權利要求6所述的圖像生成模型訓練方法，所述深度圖像模型，通過如下方式進行訓練：

獲取所述目標對象的至少兩張第二樣本圖像以及第二樣本基準圖像；

計算每張第二樣本圖像相對于所述第二樣本基準圖像的第二樣本位姿變換矩陣；

將所述每張第二樣本圖像輸入初始深度圖像模型進行深度估計，獲得所述每張第一樣本圖像的訓練深度圖像；

基于所述第二樣本圖像與所述第二樣本基準圖像之間的關鍵匹配點，確定所述關鍵匹配點對應的深度值；

計算所述關鍵匹配點在所述訓練深度圖中對應的訓練深度值；

基于所述訓練深度值以及所述深度值之間的誤差，對所述初始深度圖像模型進行迭代訓練，獲得所述深度圖像模型。