[發明專利]三維模型動作遷移方法

在審

• 申請號: 202010630438.3
• 申請日: 2020-06-30
• 公開（公告）號: CN113870431A
• 公開（公告）日: 2021-12-31
• 發明（設計）人: 付彥偉;王嘉順;聞超;薛向陽;張寅達
• 申請（專利權）人: 復旦大學
• 主分類號: G06T17/20
• 分類號: G06T17/20;G06T9/00;G06N3/04;G06N3/08
• 代理公司: 上海德昭知識產權代理有限公司 31204
• 代理人: 盧泓宇

本發明提供一種三維模型動作遷移方法，其特征在于，步驟S1，根據預先獲取的三維模型數據生成動作網絡模型、體態網絡模型以及遷移為新動作的動作體態模型作為真實值用于訓練動作遷移神經網絡；步驟S2，構建特征編碼網絡作為動作特征提取器提取動作三維網格模型的動作特征；步驟S3，構建特征遷移網絡作為解碼器基于提取的動作特征對體態三維網格模型進行遷移操作，從而獲得形變后的動作體態模型；步驟S4，構建一個端到端的動作遷移神經網絡的框架；步驟S5，構建損失函數；步驟S6，基于損失函數訓練動作遷移神經網絡，其中，動作遷移神經網絡包括動作特征編碼網絡以及基于空間適應性實例標準化方法的特征遷移神經網絡。

技術領域

本發明屬于三維計算機視覺領域，具體涉及一種利用深度學習將三維模型的動作進行遷移的方法。

背景技術

形變遷移技術近年來一直吸引著大家的注意，這是計算機圖形學和計算機視覺領域的重要技術。例如，在游戲或電影中，一個人可以輕松地將一個三維模型的動作轉移到另一個三維模型上面。但是，當動作轉移發生在兩個形體差異很大的三維模型上時，這是很有挑戰性的。

近年來，相關研究工作嘗試解決此類問題，過去的方法為了建立兩個三維模型之間的聯系往往需要額外的信息，例如點的對應關系、額外的三維模型、人工標注模型上點的信息、三維模型外的籠子來輔助變形等。

現有技術中，可以利用仿射變化與優化等方法來進行形變遷移，但該方法需要一個額外的三維模型來計算動作的轉移，并且需要人的手工標注，使得該方法缺乏易用性。還可以利用在三維模型外生成一個包裹的三維籠子來輔助進行變形，該方法同樣需要一個額外的三維模型與人工標注。缺乏易用性。也可以設計一個VC-GAN的深度神經網絡方法來實現動作遷移，但該方法缺乏對于未在訓練集中出現的體態模型的適應性，每當遇到一個新的體態時，需要足夠的訓練數據，若缺少則沒辦法實現有效的動作遷移。

發明內容

為解決上述問題，提供一種三維模型動作遷移方法，用于將動作三維網格模型的動作遷移到體態三維網格模型上，從而獲得具有新動作并保持原體態的動作體態三維網格模型，本發明采用了如下技術方案：

本發明提供了一種三維模型動作遷移方法，其特征在于，步驟S1，根據預先獲取的三維模型數據生成動作網絡模型、體態網絡模型以及遷移為新動作并保持原體態的動作體態模型作為真實值用于訓練動作遷移神經網絡；步驟S2，構建特征編碼網絡作為動作特征提取器提取動作三維網格模型的動作特征；步驟S3，構建特征遷移神經網絡作為解碼器基于提取的動作特征對體態三維網格模型進行遷移操作，從而獲得形變后的動作體態模型；步驟S4，構建一個端到端的動作遷移神經網絡的框架，即給定體態三維網格模型，動作三維網格模型，將動作三維網格模型的動作通過動作特征編碼網絡獲得動作特征，通過基于空間適應性實例標準化方法的解碼器將動作遷移到體態三維網格模型上，輸出體態模型轉換動作后的三維網格模型；步驟S5，構建損失函數；步驟S6，基于損失函數訓練動作遷移神經網絡，其中，動作遷移神經網絡包括動作特征編碼網絡以及基于空間適應性實例標準化方法的特征遷移神經網絡。

本發明提供的三維模型動作遷移方法，其特征在于，步驟S1的具體過程如下：利用SMPL模型生成三維模型數據，控制SMPL模型中的動作參數生成不同動作的三維網格模型作為動作網格模型，控制SMPL模型中的體態參數生成不同體態的三維網格模型作為體態三維網格模型，利用SMPL模型的動作參數與體態參數生成轉換動作后的體態模型作為訓練動作遷移神經網絡所需要的對應的動作體態模型作為真實值。

本發明提供的三維模型動作遷移方法，還可以具有這樣的特征，其中，特征編碼網絡為一個三層的參數共享的卷積網絡，該卷積網絡的每個卷積層后使用一層實例標準化層以及一層修正線性單元ReLU作為激活函數，特征編碼網絡的輸入為動作網格模型，輸出為編碼后的動作特征的矩陣。