[發明專利]圖像重建方法、圖像重建裝置、電子設備及存儲介質

在審

• 申請號: 202110981282.8
• 申請日: 2021-08-25
• 公開（公告）號: CN113592759A
• 公開（公告）日: 2021-11-02
• 發明（設計）人: 金成彬;韓欣彤;劉虹雨;林哲
• 申請（專利權）人: 廣州虎牙科技有限公司
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06K9/00;G06K9/46;G06N3/04;G06N3/08
• 代理公司: 成都極刻智慧知識產權代理事務所(普通合伙) 51310
• 代理人: 宋江

1.一種圖像重建方法，其特征在于，包括：

分別獲取第一目標圖像和第二目標圖像，其中，所述第一目標圖像中具有第一目標對象，所述第二目標圖像具有第二目標對象，且所述第一目標對象和所述第二目標對象之間具有不同的種類信息；

對所述第一目標圖像和所述第二目標圖像進行對象特征提取，得到所述第一目標對象和所述第二目標對象對應的對象特征信息；

基于所述對象特征信息進行圖像重建得到目標重建圖像，其中，所述目標重建圖像具有所述第二目標對象，且在所述目標重建圖像中所述第二目標對象具有所述第一目標對象的姿態信息。

2.根據權利要求1所述的圖像重建方法，其特征在于，所述對所述第一目標圖像和所述第二目標圖像進行對象特征提取，得到所述第一目標對象和所述第二目標對象對應的對象特征信息的步驟，包括：

獲取第一樣本圖像和第二樣本圖像，其中，所述第一樣本圖像中具有的對象與所述第一目標對象之間具有相同的種類信息，所述第二樣本圖像中具有的對象與所述第二目標對象之間具有相同的種類信息；

基于所述第一樣本圖像和所述第二樣本圖像訓練得到圖像重建模型，其中，所述圖像重建模型為神經網絡模型；

基于所述圖像重建模型對所述第一目標圖像和所述第二目標圖像進行處理，得到所述第一目標對象和所述第二目標對象對應的對象特征信息。

3.根據權利要求2所述的圖像重建方法，其特征在于，所述基于所述第一樣本圖像和所述第二樣本圖像訓練得到圖像重建模型的步驟，包括：

構建目標神經網絡模型；

基于所述目標神經網絡模型對所述第一樣本圖像和所述第二樣本圖像進行圖像重建，得到第一待處理重建圖像，并基于所述目標神經網絡模型對獲取的第三樣本圖像和所述第一待處理重建圖像進行圖像重建，得到第二待處理重建圖像，其中，所述第三樣本圖像中具有的對象與所述第二樣本圖像中具有的對象相同；

基于所述第三樣本圖像和所述第二待處理重建圖像計算對應的圖像重建損失，并基于所述圖像重建損失對所述目標神經網絡模型的網絡參數進行更新，得到圖像重建模型。

4.根據權利要求3所述的圖像重建方法，其特征在于，所述基于所述目標神經網絡模型對所述第一樣本圖像和所述第二樣本圖像進行圖像重建，得到第一待處理重建圖像，并基于所述目標神經網絡模型對獲取的第三樣本圖像和所述第一待處理重建圖像進行圖像重建，得到第二待處理重建圖像的步驟，包括：

基于所述目標神經網絡模型包括的第一檢測網絡對所述第一目標圖像進行關鍵點檢測，得到所述第一目標圖像對應的第一關鍵點信息，并基于所述目標神經網絡模型包括的第二檢測網絡對所述第二目標圖像進行關鍵點檢測，得到所述第二目標圖像對應的第二關鍵點信息；

基于所述目標神經網絡模型包括的密集運動網絡對所述第一關鍵點信息和所述第二關鍵點信息進行處理，得到對應的密集光流信息和遮擋圖信息，并基于所述目標神經網絡模型包括的特征編碼網絡對所述第二目標圖像進行特征編碼，得到對應的特征向量信息；

基于所述密集光流信息、所述遮擋圖信息和所述特征向量信息進行目標向量處理操作，得到對應的目標特征向量信息，并基于所述目標神經網絡模型包括的圖像重建網絡對所述目標特征向量信息進行圖像重建，得到對應的第一待處理重建圖像；

基于所述第二檢測網絡分別對獲取的第三樣本圖像和所述第一待處理重建圖像進行關鍵點檢測，得到所述第三樣本圖像對應的第三關鍵點信息和所述第一待處理重建圖像對應的第四關鍵點信息，并基于所述密集運動網絡對所述第三關鍵點信息和所述第四關鍵點信息進行處理，得到對應的新的密集光流信息和新的遮擋圖信息；

基于所述特征編碼網絡對所述第一待處理重建圖像進行特征編碼，得到對應的新的特征向量信息，并基于所述新的密集光流信息、所述新的遮擋圖信息和所述新的特征向量信息進行目標向量處理操作，得到對應的新的目標特征向量信息；

基于所述圖像重建網絡對所述新的目標特征向量信息進行圖像重建，得到對應的第二待處理重建圖像。