[發明專利]模仿給定視頻中人物動作的3D角色動作生成系統和方法

有效

• 申請號: 202011101066.1
• 申請日: 2020-10-15
• 公開（公告）號: CN112308952B
• 公開（公告）日: 2022-11-18
• 發明（設計）人: 姜育剛;傅宇倩;付彥偉
• 申請（專利權）人: 復旦大學
• 主分類號: G06T13/40
• 分類號: G06T13/40;G06T17/20;G06V40/20;G06V10/82;G06N3/08;G06N3/04
• 代理公司: 上海正旦專利代理有限公司 31200
• 代理人: 陸飛;陸尤

本發明屬于計算機技術領域，具體為模仿給定視頻中人物動作的3D角色動作生成系統和方法。本發明系統包括初始人體重建、規則數據meshcuboid構建、mesh2mesh平滑、人體姿態遷移四個模塊；對于包含人體動作源視頻，由初始人體重建模塊恢復動作扮演者的mesh源序列；由規則數據meshcuboid構建模塊將初始mesh序列構建成普通的規則數據meshcuboid；由mesh2mesh平滑模塊通過3D卷積對初始的mesh序列進行進一步的平滑，使得mesh序列的動作更加連貫；最后由人體姿態遷移模塊逐幀將姿態從源mesh遷移到目標mesh上，實現將源視頻中包含的動作序列遷移到目標3D角色中。本發明可以生成跟源視頻動作一致的mesh序列，并提升mesh序列的時序連貫性。

技術領域

本發明屬于計算機技術領域，具體涉及3D人物角色動作生成系統和方法。

背景技術

角色動作生成對于包括多媒體交互技術、視覺信息理解在內的諸多計算機視覺任務都具有重要的現實意義。人類本身很擅長從一些例子中去學習并模仿動作，這種模仿本身也對人類智能具有關鍵作用。因此，人們希望3D角色同樣能夠擁有從視頻樣本中學習模仿動作，并生成跟源視頻一樣的動作序列的能力。

盡管這個任務具有重要的研究意義，但依然很少有直接相關的研究工作。比較相關的工作主要包括角色動畫操控以及模仿學習。

角色動畫操控([1],[2],[3],[4])主要研究如何使靜態的3D角色能夠執行特定的動作，從而具有動畫的效果。此類方法是角色限定的，即定義的動畫需要根據特定的3D角色本身的骨骼結構進行定義。

模仿學習([5],[6]，[7],[8])主要研究如何使得智能機器人具有模仿人類行為的能力。此類方法主要通過學習分析人類扮演者在不同環境下的行為來抽取總結人類知識，即邏輯能力的概括與學習，進而將其應用于新的環境下。模仿學習主要面向智能機器系統，通常情況下，需要相應的硬件設備或者虛擬環境來支持實驗的展開。

與現有方法不同，本發明提出將mesh網格作為3D模型的表示形式進行引入，進而利用現有人體三維重建和人體姿態遷移這兩個方向的研究成果，巧妙解決視頻域與角色域的巨大表示差距，實現讓目標3D角色生成跟視頻一樣的動作序列的目標。此外，為了更好地提升生成mesh序列的時序連貫性，本發明提出了一個基于3D卷積的mesh2mesh平滑網絡，以改善初始人體重建模型生成的mesh序列質量。相比于角色動畫操控類方法，本發明的方法可以從視頻例子中自動獲取運動信息，然后加以模仿；相比于模仿學習類方法，本發明的方法不需要任何額外的設備，完全依賴深度網絡模型進行動作的遷移和模仿。實驗驗證本發明方法可以生成跟源視頻動作一致的mesh序列，并切實提升mesh序列的時序連貫性。

發明內容

本發明的目的在于提供一種能夠模仿給定視頻中人物動作的3D角色動作生成系統和方法。

為了減少視頻與人物角色之間的巨大表示差距，本發明首先提出利用mesh(網格)作為統一的3D模型表示形式，即本發明中所有涉及到的3D模型其表示形式均為mesh。mesh由一系列的點與面定義而來，點表示模型中的頂點信息，其具體形式為(id,x,y,z),其中id表示頂點序號，x,y,z表示該頂點的3D坐標；面表示頂點之間的連接關系，其具體形式為(id1,id2,id3),表示其所連接的三個頂點序號。