[發明專利]一種基于可逆流網絡的無監督動作風格遷移方法

在審

• 申請號: 202111415623.1
• 申請日: 2021-11-25
• 公開（公告）號: CN113947525A
• 公開（公告）日: 2022-01-18
• 發明（設計）人: 高成英;黃悅
• 申請（專利權）人: 中山大學
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T13/40;G06N3/04;G06N3/08
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 禹小明

本發明公開了一種基于可逆流網絡的無監督動作風格遷移方法，包括步驟如下：S1：獲取BVH格式的動作數據并進行預處理，將預處理后的動作數據作為訓練樣本；所述的動作數據包括內容動作、風格動作；S2：構建動作風格遷移模型，所述的動作風格遷移模型包括用于編碼動作隱藏特征的投影流網絡、用于隱藏特征風格遷移的自適應實例歸一化層；S3：采用訓練樣本訓練動作風格遷移模型，在每一輪訓練中利用損失函數對動作風格遷移模型參數進行調整；S4：將待遷移的動作數據輸入訓練好的動作風格遷移模型，實現進行任意兩個動作的風格遷移。本發明能在降低訓練數據要求的情況下，保留內容的完整性，并且不降低風格遷移的效果。

技術領域

本發明涉及計算機視覺技術領域，更具體的，涉及一種基于可逆流網絡的無監督動作風格遷移方法。

背景技術

動作的風格特點往往能夠傳遞出人物的情緒、性格或身份信息。游戲以及動畫電影為了追求逼真和富于表現力的角色，經常需要考慮到各種不同的動作風格。然而，傳統的動作捕捉技術成本高昂，依靠設備捕捉所有風格的運動是不實際的。基于已有動作進行風格遷移是更加經濟可行的做法。

動作風格遷移是指從動作片段S中提取風格信息，應用到動作片段C的內容上。這里的風格指的是傳達一個人物角色的情緒和個性的運動屬性，通常體現在動作幅度、肢體彎曲程度上。內容則是一個動作的類型、步伐以及運動軌跡。

早期的風格遷移工作使用手動提取特征，比如提取任意動作風格的頻譜強度表示，利用不同風格的頻譜差異進行風格遷移。然而由于風格是一種抽象的屬性，無法用精確的數學定義來描述。因此相比之下，數據驅動方法從大量樣本中推斷出風格特征，比手工制作特征來表征風格和內容更有優勢。但是基于深度學習的訓練方法大都是有監督的，這些方法依靠成對的樣本進行訓練，即內容完全相同，僅風格不同的動作，這類訓練數據的獲取具有一定難度。此外，這些方法通常要求數據必須有風格標注信息。

近期出現了一些不需成對動作數據，且數據無需標注信息的訓練方法。然而該方法仍然存在一些問題，生成的動作會丟失部分幀，且容易改變原有的步伐頻率，即不能很好地保證內容完整性和一致性。

發明內容

本發明為了解決針對現有基于深度學習的動作風格遷移方法存在的對訓練數據要求高，以及不能保證生成動作的內容完整性和一致性的問題，提供了一種基于可逆流網絡的無監督動作風格遷移方法，其能在降低訓練數據要求的情況下，保留內容的完整性，并且不降低風格遷移的效果。

為實現上述本發明目的，采用的技術方案如下：

一種基于可逆流網絡的無監督動作風格遷移方法，所述的方法包括步驟如下：

S1：獲取BVH格式的動作數據并進行預處理，將預處理后的動作數據作為訓練樣本；所述的動作數據包括內容動作、風格動作；

S2：構建動作風格遷移模型，所述的動作風格遷移模型包括用于編碼動作隱藏特征的投影流網絡、用于隱藏特征風格遷移的自適應實例歸一化層；

S3：采用訓練樣本訓練動作風格遷移模型，在每一輪訓練中利用損失函數對動作風格遷移模型參數進行調整；

S4：將待遷移的動作數據輸入訓練好的動作風格遷移模型，實現進行任意兩個動作的風格遷移。

優選地，步驟S1，對動作數據進行預處理，具體如下：

S101：將BVH格式的動作數據轉換為四元數形式x和坐標形式x_pos，并以32幀的長度進行片段切割；

S102：分別對四元數形式x、坐標形式x_pos的數據進行歸一化。

進一步地，步驟S2，所述的投影流網絡采用16個流結構疊加組成，其中每一個流包括三部分：激活層、可逆1×1卷積層和仿射耦合層；