[發明專利]一種基于三維信息的人體姿態遷移方法、裝置、存儲介質及終端

有效

• 申請號: 202110258224.2
• 申請日: 2021-03-10
• 公開（公告）號: CN112634444B
• 公開（公告）日: 2021-11-09
• 發明（設計）人: 程斌;徐善;袁東東;張世豪;李萌
• 申請（專利權）人: 北京創新智源科技有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T19/20
• 代理公司: 北京辰權知識產權代理有限公司 11619
• 代理人: 李小朋

1.一種基于三維信息的人體姿態遷移方法，其特征在于，所述方法包括：

獲取待遷移人體圖像集和目標人體圖像，所述待遷移人體圖像集包括至少兩張待遷移人體圖像；

針對所述待遷移人體圖像集和目標人體圖像進行密集姿態估計，生成待遷移人體三維模型和目標人體三維模型；

將所述待遷移人體圖像集和所述待遷移人體三維模型進行掩碼處理，生成掩碼后的待遷移人體圖像集和掩碼后的待遷移人體三維模型；

將所述掩碼后的待遷移人體圖像集、掩碼后的待遷移人體三維模型、目標人體三維模型輸入預先創建的人體姿態遷移網絡中，輸出所述待遷移人體圖像集對應的姿態遷移圖像；

其中，所述姿態遷移圖像中的人體包括身份特征與姿態特征，所述身份特征為所述待遷移人體圖像集中人體的身份特征，所述姿態特征為所述目標人體圖像中人體的姿態特征；

其中，所述預先創建的人體姿態遷移網絡包括第一編碼器、第二編碼器、自適應調制模塊、生成器；

所述將所述掩碼后的待遷移人體圖像集、掩碼后的待遷移人體三維模型、目標人體三維模型輸入預先創建的人體姿態遷移網絡中，輸出所述待遷移人體圖像集對應的姿態遷移圖像，包括：

將所述掩碼后的待遷移人體圖像集與掩碼后的待遷移人體三維模型通道拼接后輸入所述第一編碼器中進行特征提取，輸出待遷移人體的身份特征向量；

將所述身份特征向量輸入所述自適應調制模塊中進行特征計算，輸出目標混合特征；

將所述目標人體三維模型輸入所述第二編碼器中進行特征提取，輸出目標人體的姿態特征向量；

將所述目標混合特征與所述目標人體的姿態特征向量輸入所述生成器中進行姿態遷移，輸出所述待遷移人體圖像集對應的姿態遷移圖像；

其中，所述針對所述待遷移人體圖像集和目標人體圖像進行密集姿態估計，生成待遷移人體三維模型和目標人體三維模型，包括：

分割出所述待遷移人體圖像集中的待遷移人體區域；

分割出所述目標人體圖像中的目標人體區域；

采用密集姿態估計算法創建三維模型；

根據所述創建的三維模型與所述待遷移人體區域生成待遷移人體三維模型；

根據所述創建的三維模型與所述目標人體區域生成目標人體三維模型；

其中，所述目標混合特征的計算公式為：

其中，為所述第一編碼器提取的所述待遷移人體的身份特征向量，k為輸入的所述待遷移人體圖像集的數量，為所述身份特征向量與所述目標人體圖像中人體姿態的相關性系數。

2.根據權利要求1所述的方法，其特征在于，所述根據所述創建的三維模型與所述待遷移人體區域生成待遷移人體三維模型，包括：

提取所述待遷移人體區域上所有描述人體的像素；

將所述待遷移人體區域上所有描述人體的像素映射至所述創建的三維模型上，生成待遷移人體三維模型。

3.根據權利要求1所述的方法，其特征在于，所述根據所述創建的三維模型與所述目標人體區域生成目標人體三維模型，包括：

提取所述目標人體區域上所有描述人體的像素；

將所述目標人體區域上所有描述人體的像素映射至所述創建的三維模型上，生成目標人體三維模型。

4.根據權利要求1所述的方法，其特征在于，所述第一編碼器與所述第二編碼器提取特征時采用卷積網絡ResNet-50進行處理。