[發(fā)明專利]模型穿模修正方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011620265.3
• 申請(qǐng)日: 2020-12-31
• 公開（公告）號(hào): CN112669421A
• 公開（公告）日: 2021-04-16
• 發(fā)明（設(shè)計(jì)）人: 劉思陽(yáng)
• 申請(qǐng)（專利權(quán)）人: 北京愛(ài)奇藝科技有限公司
• 主分類號(hào): G06T13/40
• 分類號(hào): G06T13/40;G06T17/20;G06T19/20;G06K9/62
• 代理公司: 北京柏杉松知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11413
• 代理人: 項(xiàng)京;高鶯然

1.一種模型穿模修正方法，其特征在于，包括：

獲取原始人體模型的原始旋轉(zhuǎn)信息矩陣和骨架信息矩陣；所述原始旋轉(zhuǎn)信息表示原始人體模型的各個(gè)關(guān)節(jié)點(diǎn)相對(duì)于處于T-Pose(T字母姿態(tài))下的人體模型的各個(gè)關(guān)節(jié)點(diǎn)的旋轉(zhuǎn)角度信息；

將所述原始旋轉(zhuǎn)信息矩陣和所述骨架信息矩陣輸入重定向模型，得到重定向旋轉(zhuǎn)信息矩陣；

基于重定向旋轉(zhuǎn)信息矩陣，確定重定向后人體模型的三維網(wǎng)格信息；

基于重定向后人體模型的三維網(wǎng)格信息，計(jì)算重定向后人體模型的穿模概率；以及，確定重定向旋轉(zhuǎn)信息矩陣和原始旋轉(zhuǎn)信息矩陣之間的相似度；

基于重定向后人體模型的穿模概率，以及重定向旋轉(zhuǎn)信息矩陣和原始旋轉(zhuǎn)信息矩陣之間的相似度，判斷重定向模型是否收斂；

若重定向模型未收斂，則調(diào)整重定向模型的參數(shù)，并返回所述將所述原始旋轉(zhuǎn)信息矩陣和所述骨架信息矩陣輸入重定向模型，得到重定向旋轉(zhuǎn)信息矩陣的步驟；

若重定向模型已收斂，則確定重定向旋轉(zhuǎn)信息矩陣表示：原始人體模型所對(duì)應(yīng)的重定向后人體模型的旋轉(zhuǎn)信息。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于重定向后人體模型的穿模概率，以及重定向旋轉(zhuǎn)信息矩陣和原始旋轉(zhuǎn)信息矩陣之間的相似度，判斷重定向模型是否收斂，包括：

若重定向后人體模型的穿模概率大于預(yù)設(shè)概率閾值，和/或重定向旋轉(zhuǎn)信息矩陣和原始旋轉(zhuǎn)信息矩陣之間的相似度大于相似度閾值，則確定重定向模型未收斂；

若重定向后人體模型的穿模概率不大于預(yù)設(shè)概率閾值，且重定向旋轉(zhuǎn)信息矩陣和原始旋轉(zhuǎn)信息矩陣之間的相似度不大于相似度閾值，則確定重定向模型已收斂。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述重定向模型包括：骨架信息編碼模塊、旋轉(zhuǎn)信息編碼模塊和旋轉(zhuǎn)信息解碼模塊；

所述將所述原始旋轉(zhuǎn)信息矩陣和所述骨架信息矩陣輸入重定向模型，得到重定向旋轉(zhuǎn)信息矩陣，包括：

將所述原始旋轉(zhuǎn)信息矩陣和所述骨架信息矩陣輸入重定向模型；

所述骨架信息編碼模塊，對(duì)所述骨架信息矩陣進(jìn)行處理，得到骨架特征矩陣；

所述旋轉(zhuǎn)信息編碼模塊，基于所述原始旋轉(zhuǎn)信息矩陣和所述骨架特征矩陣，確定出旋轉(zhuǎn)特征矩陣；

所述旋轉(zhuǎn)信息解碼模塊，基于所述旋轉(zhuǎn)特征矩陣和所述骨架特征矩陣，確定出重定向旋轉(zhuǎn)信息矩陣。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括：精修重定向旋轉(zhuǎn)信息矩陣；

在所述基于重定向后人體模型的穿模概率，以及重定向旋轉(zhuǎn)信息矩陣和原始旋轉(zhuǎn)信息矩陣之間的相似度，判斷重定向模型是否收斂之前，包括：

基于精修重定向旋轉(zhuǎn)信息矩陣，確定重定向后人體模型的精修三維網(wǎng)格信息；

根據(jù)精修重定向旋轉(zhuǎn)信息矩陣和重定向旋轉(zhuǎn)信息矩陣，確定重定向后人體模型的第一損失；以及，根據(jù)精修三維網(wǎng)格信息和所述重定向后人體模型的三維網(wǎng)格信息，確定重定向后人體模型的第二損失；

所述基于重定向后人體模型的穿模概率，以及重定向旋轉(zhuǎn)信息矩陣和原始旋轉(zhuǎn)信息矩陣之間的相似度，判斷重定向模型是否收斂，包括：

對(duì)重定向后人體模型的第一損失、重定向后人體模型的第二損失、重定向后人體模型的穿模概率和重定向旋轉(zhuǎn)信息矩陣和原始旋轉(zhuǎn)信息矩陣之間的相似度進(jìn)行加權(quán)求和，得到重定向后人體模型的損失值；

判斷所述損失值是否大于預(yù)設(shè)損失閾值；

若是，確定重定向模型未收斂；若否，確定重定向模型已收斂。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于重定向旋轉(zhuǎn)信息矩陣，確定重定向后人體模型的三維網(wǎng)格信息，包括：

將重定向旋轉(zhuǎn)信息矩陣輸入SMPL(skinned multi-person linear model，皮膚多人線性模型)，得到重定向后人體模型的三維網(wǎng)格信息。