[發(fā)明專利]基于動作增量模型的動作重定向方法

有效

• 申請?zhí)枺?/td>: 201910590974.2
• 申請日: 2019-07-02
• 公開（公告）號: CN110400365B
• 公開（公告）日: 2023-06-20
• 發(fā)明（設(shè)計）人: 王雁剛;莊文林;夏思宇
• 申請（專利權(quán)）人: 東南大學(xué)
• 主分類號: G06T13/40
• 分類號: G06T13/40
• 代理公司: 南京眾聯(lián)專利代理有限公司 32206
• 代理人: 葉涓涓

本發(fā)明提供了一種基于動作增量模型的動作重定向方法，包括：直接復(fù)制原始人物動作的節(jié)點旋轉(zhuǎn)角度與根節(jié)點速度到目標(biāo)人物骨架上作為初始目標(biāo)動作；采用骨頭長度、局部動作與根節(jié)點動作表征原始人物動作與初始目標(biāo)動作；采用循環(huán)神經(jīng)網(wǎng)絡(luò)分別對原始人物動作以及初始目標(biāo)動作進行編碼；將原始人物動作編碼特征、初始目標(biāo)動作編碼特征以及目標(biāo)人物輸入解碼器獲得目標(biāo)動作的動作增量；將目標(biāo)動作的動作增量與初始目標(biāo)動作求和得到預(yù)測目標(biāo)動作；針對預(yù)測目標(biāo)動作進行后處理，解決腳步滑動問題。本發(fā)明方法無需手工設(shè)計復(fù)雜的約束條件即可獲得高質(zhì)量的目標(biāo)動作，針對原始人物與目標(biāo)人物骨架差異大、動作極其復(fù)雜的情況，本發(fā)明仍然具有優(yōu)越的性能表現(xiàn)。

技術(shù)領(lǐng)域

本發(fā)明屬于計算機圖形處理、計算機視覺技術(shù)領(lǐng)域，涉及一種動作重定向方法，具體的說，是涉及一種基于動作增量模型的動作重定向方法。

背景技術(shù)

動作重定向是指給定一個人物的動作，將此動作遷移到另一個人物身上，使其動作保持一致。在動畫、虛擬現(xiàn)實、增強現(xiàn)實等領(lǐng)域，動作重定向通常發(fā)揮著很重要的作用。在動畫制作中，可直接通過動作重定向直接創(chuàng)造出新人物的動作，無需再進行復(fù)雜的人工調(diào)節(jié)；在虛擬現(xiàn)實、增強現(xiàn)實中，動作重定向可以生成更加真實的新人物動作，使用戶具備更好的體驗。因此，動作重定向是研究人員一直關(guān)心的問題。

要進行高質(zhì)量的動作重定向，需要解決的核心問題是：原始人物骨架與目標(biāo)人物骨架之間的不一致性。直接對原始人物動作進行模仿(復(fù)制各節(jié)點旋轉(zhuǎn)與根節(jié)點速度)通常不可取，會遇到穿模(penetration)、偏移(departure)、漂移等諸多問題。為了解決這些問題，之前已經(jīng)提出了很多研究方法。這些方法概括起來可以分為兩大類：

1)將動作重定向視為一個逆運動學(xué)的優(yōu)化問題：手工設(shè)計大量的約束條件，例如：運動學(xué)約束、動態(tài)約束等。但這種方法的約束條件非常難設(shè)計，并且對于骨架差異大、動作過于復(fù)雜的情況仍舊需要手工調(diào)整。

2)采用簡單的深度學(xué)習(xí)方法：直接通過循環(huán)神經(jīng)網(wǎng)絡(luò)對原始人物動作進行編碼，解碼階段加入目標(biāo)人物的Tpose。但這種方法只適用于簡單的動作，對復(fù)雜動作的性能表現(xiàn)很差。

顯然，目前的解決方案均無法取得令人滿意的動作重定向效果。

發(fā)明內(nèi)容

為解決上述問題，本發(fā)明提供了一種快速、高性能的動作重定向方法，能夠針對從原始人物動作復(fù)制得到的初始目標(biāo)動作預(yù)測出精確的動作增量，從而實現(xiàn)在骨架差異大、動作異常復(fù)雜的情況下輸出高質(zhì)量的目標(biāo)動作。

為了達到上述目的，本發(fā)明提供如下技術(shù)方案：

基于動作增量模型的動作重定向方法，包括如下步驟：

步驟1，直接復(fù)制原始人物動作的節(jié)點旋轉(zhuǎn)角度與根節(jié)點速度到目標(biāo)人物骨架上作為初始目標(biāo)動作；

步驟2，采用骨頭長度、局部動作與根節(jié)點動作表征原始人物動作與初始目標(biāo)動作；

步驟3，采用循環(huán)神經(jīng)網(wǎng)絡(luò)分別對原始人物動作以及初始目標(biāo)動作進行編碼；

步驟4，將原始人物動作編碼特征、初始目標(biāo)動作編碼特征以及目標(biāo)人物輸入解碼器獲得目標(biāo)動作的動作增量；

步驟5，將目標(biāo)動作的動作增量與初始目標(biāo)動作求和得到預(yù)測目標(biāo)動作；

步驟6，針對預(yù)測目標(biāo)動作進行后處理，解決腳步滑動問題。

進一步的，所述步驟1具體包括如下過程：

劃分若干人體節(jié)點，其中包含一根節(jié)點，針對每一個節(jié)點，復(fù)制其節(jié)點四元數(shù)到目標(biāo)骨架相對應(yīng)的節(jié)點；復(fù)制根節(jié)點速度時加入目標(biāo)人物與原始人物的比例因子。

進一步的，所述步驟2中，原始人物動作表示如下：