[發明專利]一種基于人體軟組織網格模型的人體動畫合成方法

有效

• 申請號: 202010645245.5
• 申請日: 2020-07-07
• 公開（公告）號: CN111968208B
• 公開（公告）日: 2023-10-03
• 發明（設計）人: 王卓薇;林偉達
• 申請（專利權）人: 廣東工業大學
• 主分類號: G06T13/60
• 分類號: G06T13/60
• 代理公司: 廣東廣信君達律師事務所 44329
• 代理人: 張生梅

本發明公開了一種基于人體軟組織網格模型的人體動畫合成方法，首先利用特征金字塔網絡對圖像提取不同維度的特征，再通過區域?特征對齊技術將不同維度的特征輸入到后續的人體部位分割，軟組織紋理以及姿態估計等任務中。根據三維姿態和軟組織紋理使得原圖中人物映射到三維人體軟組織網格模型，實現人體軟組織網格模型的重建，再通過人體軟組織網格模型重定向實現人體動畫合成。使用人體軟組織網格模型與深度學習結合的方法，能夠精確地捕捉到人體軟組織運動，使合成的人體動畫細節表現更豐富。

技術領域

本發明涉及影視制作、虛擬現實動作捕捉的算法領域，具體涉及一種基于人體網格模型重定向的軟組織運動人體動畫合成方法。

背景技術

目前以光學動作捕捉系統為代表的動作捕捉系統依賴于設置物理跟蹤點、依賴激光和光敏傳感器等昂貴臃腫的外部設備來確定運動物體的位置，同時需要繁雜的后期處理工作；并且因為設置物理跟蹤點數量有限，它們幾乎難以捕捉到精準的軟組織運動。

當前動畫重定向合成技術局限于骨骼動畫方案，由骨骼來描述動作信息，用蒙皮來表示人體網格與骨骼之間的關系從而得到人體動畫，而無法捕獲到細膩的人體軟組織運動。

發明內容

本發明的目的是提供一種基于人體網格模型重定向的軟組織運動人體動畫合成方法，用以解決現有技術難以捕捉精準的軟組織運動且需要繁雜后期處理工作的問題。

為了實現上述任務，本發明采用以下技術方案：

一種基于人體軟組織網格模型的人體動畫合成方法，包括以下步驟：

將視頻幀輸入特征金字塔網絡提取包含低層特征高分辨率和高層特征高語義信息的特征圖；

將所述特征圖送入多任務級聯模塊中，為不同任務候選框在特征圖上分配對應的區域，并輸出到不同的任務分支中，從而為不同的任務分支分配對應的特征圖；

利用所述分配的特征圖輸入到用于人體二維姿態估計的深度高分辨率表示網絡生成二維姿態，再將二維姿態輸入到用于人體三維姿態估計的基于時域空洞卷積網絡預測人體軟組織網格模型的三維姿態；

在所述分配的特征圖上通過用于對象檢測和分割的基于區域卷積神經網絡進行人體部位分割，以及通過對所述網絡的特征層進行卷積的方法回歸其軟組織UV紋理圖，生成人體軟組織網格模型的人體表面形狀；

根據人體軟組織網格模型的三維姿態和人體表面形狀重構人體軟組織網絡模型；

對于重構的人體軟組織網格模型，利用人體軟組織網格模型判別池進行判別是否正確并進行糾正處理，最終輸出糾正的人體軟組織網格模型；

對于轉移的風格化動畫角色，利用輸出的人體軟組織模型擬合到風格化動畫角色上，最終輸出生成的人體動畫。

進一步地，所述將視頻幀輸入特征金字塔網絡提取包含低層特征高分辨率和高層特征高語義信息的特征圖，包括：

對于輸入特征金字塔網絡的視頻幀，利用殘差網絡進行特征提取，生成不同分辨率的特征圖，這些特征圖形成自下而上的通路；最頂層的特征圖通過池化操作又形成從上至下的通道，不同分辨率特征圖經過卷積操作后與相鄰特征圖池化后的對應元素相加進行連接，最終輸出特征圖。

進一步地，對于從特征金字塔提取出來同時包含保持高分辨率低層特征和高層特征高語義信息的特征圖，在原圖上存在對不同的任務有不同的感興趣區域；利用基于RoIAlign多任務級聯模塊處理，在原圖上對不同任務感興趣的區域在特征圖上準確分配對應的特征圖，最終輸出到用于人體二維姿態估計的深度高分辨率表示網絡進行二維姿態估計任務和用于對象檢測和分割的基于區域卷積神經網絡進行人體部位分割任務中作為輸入。

進一步地，所述將二維姿態輸入到用于人體三維姿態估計的基于時域空洞卷積網絡預測人體軟組織網格模型的三維姿態，包括：