[發明專利]三維模型動作遷移方法

在審

• 申請號: 202010630438.3
• 申請日: 2020-06-30
• 公開（公告）號: CN113870431A
• 公開（公告）日: 2021-12-31
• 發明（設計）人: 付彥偉;王嘉順;聞超;薛向陽;張寅達
• 申請（專利權）人: 復旦大學
• 主分類號: G06T17/20
• 分類號: G06T17/20;G06T9/00;G06N3/04;G06N3/08
• 代理公司: 上海德昭知識產權代理有限公司 31204
• 代理人: 盧泓宇

1.一種三維模型動作遷移方法，用于將動作三維網格模型的動作遷移到體態三維網格模型上，從而獲得具有新動作的動作體態三維網格模型，其特征在于，包括如下步驟：

步驟S1，根據預先獲取的三維模型數據生成所述動作網格模型、所述體態網格模型以及遷移為新動作的所述動作體態模型作為真實值用于訓練動作遷移神經網絡；

步驟S2，構建特征編碼網絡作為動作特征提取器提取所述動作三維網格模型的動作特征；

步驟S3，構建特征遷移神經網絡作為解碼器基于提取的所述動作特征對所述體態三維網格模型進行遷移操作，從而獲得形變后的所述動作體態模型；

步驟S4，構建一個端到端的所述動作遷移神經網絡的框架，即給定體態三維網格模型，動作三維網格模型，將動作三維網格模型的動作通過動作特征編碼網絡獲得動作特征，通過基于空間適應性實例標準化方法的解碼器將動作遷移到體態三維網格模型上，輸出體態模型轉換動作后的三維網格模型；

步驟S5，構建損失函數；

步驟S6，基于所述損失函數訓練所述動作遷移神經網絡，

其中，所述動作遷移神經網絡包括所述動作特征編碼網絡以及基于空間適應性實例標準化方法的所述特征遷移神經網絡。

2.根據權利要求1所述的三維模型動作遷移方法，其特征在于，所述步驟S1的具體過程如下：

利用SMPL模型生成所述三維模型數據，控制所述SMPL模型中的動作參數生成不同動作的三維網格模型作為所述動作網格模型，控制所述SMPL模型中的體態參數生成不同體態的三維網格模型作為所述體態三維網格模型，利用所述SMPL模型的動作參數與體態參數生成轉換動作后的體態模型作為訓練所述動作遷移神經網絡所需要的對應的所述動作體態模型作為真實值。

3.根據權利要求1所述的三維模型動作遷移方法，其特征在于：

其中，所述特征編碼網絡為一個三層的參數共享的卷積網絡，該卷積網絡的每個卷積層后使用一層實例標準化層以及一層修正線性單元ReLU作為激活函數，

所述特征編碼網絡的輸入為所述動作網格模型，輸出為編碼后的所述動作特征的矩陣。

4.根據權利要求1所述的三維模型動作遷移方法，其特征在于：

其中，所述特征遷移神經網絡為一個四層的卷積網絡，該卷積網絡前三層卷積層后各跟隨一個空間適應性實例標準化殘差模塊，

每個空間適應性實例標準化殘差模塊遵循殘差網絡模塊的結構，所述殘差網絡模塊具有三個單元，每個單元包括一個空間適應性實例標準化結構、一個卷積網絡以及激活函數，

每個空間適應性實例標準化結構是由所述體態三維網格模型分別通過一層卷積層獲得標準化所需要的權重和偏移，將所述權重與輸入的特征相乘并與所述偏移量相加后輸出，進一步通過一層卷積層和tanh激活函數得到輸出的所述動作體態三維網格模型。

5.根據權利要求1所述的三維模型動作遷移方法，其特征在于，所述步驟S5的具體過程如下：

采用二范數歐幾里得距離作為損失函數回歸網格模型中每個頂點的空間坐標，使其接近真實坐標，

采用邊長正則化使得遷移后的所述動作體態三維網格模型所有邊盡可能短并且均勻，從而使得表面更加光滑。

6.根據權利要求1所述的三維模型動作遷移方法，其特征在于，所述步驟S6的具體過程如下：

將所述動作網格三維模型和所述體態三維網格模型作為所述動作遷移神經網絡的輸入，得到該動作遷移神經網絡輸出的具有新動作的所述動作體態三維網格模型，

根據經過所述動作遷移神經網絡獲得的所述動作體態三維網格模型以及步驟S1中作為真實值的所述動作體態三維網格模型利用所述損失函數計算損失值，

根據所述損失值利用反向傳播算法以及梯度下降算法訓練所述動作遷移神經網絡。