[發明專利]基于生成流模型的人體運動風格遷移方法及系統

有效

• 申請號: 202110246980.3
• 申請日: 2021-03-05
• 公開（公告）號: CN113012036B
• 公開（公告）日: 2022-07-15
• 發明（設計）人: 劉永進;溫玉輝
• 申請（專利權）人: 清華大學
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06N3/04;G06N3/08
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 張睿

1.一種基于生成流模型的人體運動風格遷移方法，其特征在于，包括：

獲取預設運動風格序列和運動內容序列，并對所述運動內容序列進行控制信號提取和歸一化處理，得到運動內容輸入數據；

將所述預設運動風格序列輸入到訓練好的人體運動風格遷移模型中，得到所述預設運動風格序列對應的隱編碼；

將所述隱編碼和所述運動內容輸入數據輸入到訓練好的人體運動風格遷移模型中，得到風格遷移后的運動內容序列，所述訓練好的人體風格遷移模型是由樣本運動內容序列，對生成流模型進行訓練得到的；

所述生成流模型是由多層流基本模塊組成的，所述流基本模塊是由激活標準化層、重排層、劃分-組合操作層、可逆注意力機制變換器和仿射變換耦合層組成的；

其中，在所述訓練好的人體風格遷移模型訓練完成之后，通過測試集數據對所述訓練好的人體風格遷移模型進行測試，將一段測試數據中預設風格的運動數據輸入到所述訓練好的人體風格遷移模型中，提取所述預設風格的運動數據對應的隱編碼，隱編碼公式為：

；

其中，為所述流基本模塊的數學定義，的參數為。

2.根據權利要求1所述的基于生成流模型的人體運動風格遷移方法，其特征在于，所述訓練好的人體風格遷移模型通過以下步驟訓練得到：

對樣本運動內容序列中每個人體運動數據進行提取，得到每個人體運動數據對應的控制信號，所述控制信號為人體根節點的前向表示、人體根節點的側向表示和人體根節點相對于垂直地面軸的旋轉角速度表示；

將每個人體運動數據中各個關節坐標進行歸一化處理，得到各個關節坐標對應的歸一化運動數據；

根據所述控制信號和所述歸一化運動數據，構建訓練樣本集；

將所述訓練樣本集輸入到生成流模型進行逐層訓練，得到訓練好的人體風格遷移模型。

3.根據權利要求2所述的基于生成流模型的人體運動風格遷移方法，其特征在于，所述將所述訓練樣本集輸入到生成流模型進行逐層訓練，得到訓練好的人體風格遷移模型，包括：

將所述訓練樣本集中的樣本數據輸入到激活標準化層，得到第一輸入信息，所述第一輸入信息中每個特征通道具有0均值和單位方差；

將所述第一輸入信息輸入到重排層中，增加特征維度的變化，得到第二輸入信息；

通過劃分-組合操作層對所述第二輸入信息進行劃分操作，得到第一等長片段和第二等長片段；

將所述第一等長片段輸入到可逆注意力機制變換器，得到變換后的第一等長片段；

根據所述變換后的第一等長片段，獲取仿射變換耦合層的偏移參數和縮放參數，并根據所述偏移參數和所述縮放參數，對所述第二等長片段和條件輸入信息進行偏移和縮放處理，得到第三等長片段；

通過所述劃分-組合操作層將所述第一等長片段和所述第三等長片段進行組合操作，并將組合操作得到的輸出信息輸入到下一個流基本模塊中進行訓練，在所有流基本模塊完成本輪次訓練后，將最后一層流基本模塊的輸出信息作為第一層流基本模塊的輸入信息再次進行訓練，直到滿足預設訓練條件后，得到訓練好的人體風格遷移模型。

4.根據權利要求2所述的基于生成流模型的人體運動風格遷移方法，其特征在于，所述方法還包括：

基于最大似然估計，對所述生成流模型的參數進行訓練優化，以得到訓練好的人體風格遷移模型。