[發明專利]姿態變換數據處理方法、裝置、計算機設備和存儲介質

有效

• 申請號: 202010168492.0
• 申請日: 2020-03-12
• 公開（公告）號: CN111047548B
• 公開（公告）日: 2020-07-03
• 發明（設計）人: 吳現;李琛;戴宇榮
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T7/10;G06N3/04
• 代理公司: 廣州華進聯合專利商標代理有限公司 44224
• 代理人: 毛丹

1.一種姿態變換數據處理方法，所述方法包括：

獲取源圖像和目標三維姿態；

結合所述源圖像和目標三維姿態，基于語義分割重建得到三維分割體素，所述三維分割體素包括體素的類別信息；

將所述三維分割體素投影得到對應的目標姿態二維分割圖，基于所述體素的類別信息對所述目標姿態二維分割圖中的對象標注得到對應的部件類別；

獲取所述目標三維姿態對應的目標二維姿態，提取所述源圖像、目標姿態二維分割圖和目標二維姿態的特征合成中間尺度的變換圖像；

分別對所述源圖像、三維分割體素、目標二維姿態和變換圖像裁切得到對應于各個對象部件的部件層數據，所述對象部件是根據所述部件類別確定的；

分別對所述各個對象部件的部件層數據進行部件合成，生成各個對象部件對應的部件圖像；

將所述變換圖像和所述部件圖像融合得到目標姿態圖像。

2.根據權利要求1所述的方法，其特征在于，所述結合所述源圖像和目標三維姿態，基于語義分割重建得到三維分割體素包括:

將所述源圖像和目標三維姿態輸入三維體素網絡；

所述三維體素網絡對所述源圖像和目標三維姿態進行編碼,得到編碼結果,對所述編碼結果提取特征并解碼輸出攜帶體素的類別信息的三維分割體素。

3.根據權利要求2所述的方法，其特征在于，所述三維體素網絡對所述源圖像和目標三維姿態進行編碼,得到編碼結果,對所述編碼結果提取特征并解碼輸出攜帶體素的類別信息的三維分割體素包括：

對所述源圖像進行編碼并提取特征得到第一特征；

對所述目標三維姿態進行編碼并提取特征得到第二特征；

將所述第一特征和第二特征合并得到合并特征，將所述合并特征輸入堆疊沙漏網絡，通過所述堆疊沙漏網絡解碼得到所述三維分割體素。

4.根據權利要求1所述的方法，其特征在于，所述提取所述源圖像、目標姿態二維分割圖和目標二維姿態的特征合成中間尺度的變換圖像包括：

將所述源圖像、目標姿態二維分割圖和目標二維姿態合并形成輸入矩陣；

將所述輸入矩陣輸入至中間尺度生成網絡；

所述中間尺度生成網絡依次通過下采樣層、殘差塊層和上采樣層對所述輸入矩陣進行特征提取得到所述中間尺度的變換圖像。

5.根據權利要求4所述的方法，其特征在于，所述中間尺度生成網絡的訓練包括以下步驟:

獲取第一訓練樣本；所述第一訓練樣本包括源訓練圖像、目標姿態訓練二維分割圖、目標訓練二維姿態和對應的標簽變換圖像；

將所述源訓練圖像、目標姿態訓練二維分割圖、目標訓練二維姿態輸入中間尺度生成網絡，經過所述中間尺度生成網絡所包括的各層依次處理后，輸出對應的訓練變換圖像；

根據所述訓練變換圖像和所述標簽變換圖像的差異反向傳播調整所述中間尺度生成網絡的網絡參數，以得到已訓練的中間尺度生成網絡。

6.根據權利要求5所述的方法，其特征在于，所述根據所述訓練變換圖像和所述標簽變換圖像的差異反向傳播調整所述中間尺度生成網絡的網絡參數，以得到已訓練的中間尺度生成網絡包括：

通過預訓練感知網絡分別提取標簽變換圖像和訓練變換圖像的特征得到特征圖，計算特征圖之間的距離得到感知損失；

根據所述標簽變換圖像、源訓練圖像、訓練變換圖像對中間尺度生成網絡和判別網絡進行對抗學習，得到對抗損失；

通過判別網絡中多個不同尺度的卷積層分別計算標簽變換圖像和訓練變換圖像在多個不同尺度的特征距離，統計所述多個不同尺度的特征距離得到特征匹配損失；

根據所述感知損失、對抗損失、特征匹配損失確定目標損失，根據所述目標損失反向傳播調整所述中間尺度生成網絡的網絡參數，以得到已訓練的中間尺度生成網絡。