[發明專利]一種基于單目視覺的虛擬人生成方法、裝置

在審

• 申請號: 202110726704.7
• 申請日: 2021-06-29
• 公開（公告）號: CN113658303A
• 公開（公告）日: 2021-11-16
• 發明（設計）人: 徐楓;周玉梟
• 申請（專利權）人: 清華大學
• 主分類號: G06T13/40
• 分類號: G06T13/40;G06T17/00;G06K9/00;G06N3/04;G06N3/08
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張夢瑤

1.一種基于單目視覺的虛擬人生成方法，其特征在于，包括以下步驟：

獲取單目彩色圖像；

提取所述單目彩色圖像的圖像特征，并基于所述單目彩色圖像的圖像特征估計出人體軀干與四肢的姿態，以完成對虛擬人物模型的軀干和肢體的重建；

利用所述人體軀干與四肢的姿態的估計結果，分別定位所述單目彩色圖像中的手部位置信息，并根據所述手部位置信息截取所述單目彩色圖像中的手部圖像區域，提取所述手部圖像區域的圖像特征，基于所述手部圖像區域的圖像特征，估計出手部旋轉參數；

利用所述人體軀干與四肢的姿態的估計結果，定位所述單目彩色圖像中面部位置信息，并根據所述面部位置信息截取所述單目彩色圖像中的面部圖像區域，提取所述面部圖像區域的圖像特征，基于所述面部圖像區域的圖像特征，估計出面部的形狀參數與表情系數，以根據所述人臉的形狀參數與表情系數生成人臉模型；

將所述手部旋轉參數分別應用到對虛擬人物模型的軀干和肢體的重建后得到的三維人體模型，完成對手部的重建，并利用所述人臉模型替換所述三維人體模型的面部區域，完成對面部的重建，以得到虛擬人物模型。

2.根據權利要求1所述的虛擬人生成方法，其特征在于，所述提取所述單目彩色圖像的圖像特征，并基于所述單目彩色圖像的圖像特征估計出人體軀干與四肢的姿態，以完成對虛擬人物模型的軀干和肢體的重建，包括：

利用深度殘差網絡處理所述單目彩色圖像，得到所述單目彩色圖像在高維空間內的圖像特征；

基于所述圖像特征使用卷積神經網絡估計人體關鍵點的三維坐標，并使用全連接神經網絡根據所述人體關鍵點的三維坐標回歸人體關節的旋轉參數與人體的體型參數；

根據所述人體關節的旋轉參數與所述人體的體型參數應用到預定義的參數化三維人體模型中，得到人體軀干與四肢的姿態，以完成對虛擬人物模型的軀干和肢體姿態的重建。

3.根據權利要求2所述的虛擬人生成方法，其特征在于，所述深度殘差網絡、卷積神經網絡、以及全連接網絡均使用已經公開的人體動作捕捉數據訓練得到。

4.根據權利要求3所述的虛擬人生成方法，其特征在于，所述已經公開的人體動作捕捉數據中隱含了人體運動的先驗知識，在訓練網絡的過程中被隱式地學習。

5.一種基于單目視覺的虛擬人生成裝置，其特征在于，包括：

獲取模塊，用于獲取單目彩色圖像；

第一估計模塊，用于提取所述單目彩色圖像的圖像特征，并基于所述單目彩色圖像的圖像特征估計出人體軀干與四肢的姿態，以完成對虛擬人物模型的軀干和肢體的重建；

第二估計模塊，用于利用所述人體軀干與四肢的姿態的估計結果，分別定位所述單目彩色圖像中的手部位置信息，并根據所述手部位置信息截取所述單目彩色圖像中的手部圖像區域，提取所述手部圖像區域的圖像特征，基于所述手部圖像區域的圖像特征，估計出手部旋轉參數；

第三估計模塊，用于利用所述人體軀干與四肢的姿態的估計結果，定位所述所述單目彩色圖像中面部位置信息，并根據所述面部位置信息截取所述單目彩色圖像中的面部圖像區域，提取所述面部圖像區域的圖像特征，基于所述面部圖像區域的圖像特征，估計出面部的形狀參數與表情系數，以根據所述人臉的形狀參數與表情系數生成人臉模型；

重建模塊，用于將所述手部旋轉參數分別應用到對虛擬人物模型的軀干和肢體的重建后得到的三維人體模型，完成對手部的重建，并利用所述人臉模型替換所述三維人體模型的面部區域，完成對面部的重建，以得到虛擬人物模型。

6.根據權利要求5所述的虛擬人生成裝置，其特征在于，所述第一估計模塊，包括：

處理模塊，用于利用深度殘差網絡處理所述單目彩色圖像，得到所述單目彩色圖像在高維空間內的圖像特征；

回歸模塊，用于基于所述圖像特征使用卷積神經網絡估計人體關鍵點的三維坐標，并使用全連接神經網絡根據所述人體關鍵點的三維坐標回歸人體關節的旋轉參數與人體的體型參數；

重建模塊，用于將所述人體關節的旋轉參數與所述人體的體型參數應用到預定義的參數化三維人體模型中，得到人體軀干與四肢的姿態，以完成對虛擬人模型的軀干和肢體姿態的重建。