[發(fā)明專利]基于生成流模型的人體運動風格遷移方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202110246980.3
• 申請日: 2021-03-05
• 公開（公告）號: CN113012036B
• 公開（公告）日: 2022-07-15
• 發(fā)明（設(shè)計）人: 劉永進;溫玉輝
• 申請（專利權(quán)）人: 清華大學(xué)
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06N3/04;G06N3/08
• 代理公司: 北京路浩知識產(chǎn)權(quán)代理有限公司 11002
• 代理人: 張睿

本發(fā)明提供一種基于生成流模型的人體運動風格遷移方法及系統(tǒng)，該方法包括：獲取預(yù)設(shè)運動風格序列和運動內(nèi)容序列，并對所述運動內(nèi)容序列進行控制信號提取和歸一化處理，得到運動內(nèi)容輸入數(shù)據(jù)；將所述預(yù)設(shè)運動風格序列輸入到訓(xùn)練好的人體運動風格遷移模型中，得到所述預(yù)設(shè)運動風格序列對應(yīng)的隱編碼；將所述隱編碼和所述運動內(nèi)容輸入數(shù)據(jù)輸入到訓(xùn)練好的人體運動風格遷移模型中，得到風格遷移后的運動內(nèi)容序列，所述訓(xùn)練好的人體風格遷移模型是由樣本運動內(nèi)容序列，對生成流模型進行訓(xùn)練得到的。本發(fā)明通過生成流模型提取隱編碼，從而高效準確地提取運動風格特征，在遷移運動風格的同時保持運動內(nèi)容不變，能夠合成更為準確的人體運動。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機視覺及人工智能技術(shù)領(lǐng)域，尤其涉及一種基于生成流模型的人體運動風格遷移方法及系統(tǒng)。

背景技術(shù)

現(xiàn)有的人體運動風格遷移方法，需要成對的運動數(shù)據(jù)，其中成對是指運動數(shù)據(jù)屬于相同的運動內(nèi)容，但是運動風格不一樣，或者不依賴于成對的運動數(shù)據(jù)，但是需要深度學(xué)習(xí)方法進行有監(jiān)督訓(xùn)練學(xué)習(xí)運動遷移模型。

現(xiàn)有方法基于成對的運動數(shù)據(jù)，往往需要復(fù)雜的數(shù)據(jù)預(yù)處理，比如，對人體運動數(shù)據(jù)進行分階段和各個階段分別注冊；或者運動風格遷移受限于成對運動數(shù)據(jù)；或者需要有監(jiān)督訓(xùn)練深度學(xué)習(xí)模型，即在訓(xùn)練過程中，需要為每個訓(xùn)練數(shù)據(jù)加標簽，加大了數(shù)據(jù)預(yù)處理和訓(xùn)練的難度，并且限制了應(yīng)用范圍。現(xiàn)有運動風格特征提取方法，往往采用人為定義或者嘗試解耦運動風格和運動內(nèi)容，導(dǎo)致運動風格提取不準確。此外，運動風格遷移結(jié)果唯一確定不可編輯，在不同運動內(nèi)容的運動之間進行運動風格遷移，可能導(dǎo)致運動風格遷移失敗。

因此，現(xiàn)在亟需一種基于生成流模型的人體運動風格遷移方法及系統(tǒng)來解決上述問題。

發(fā)明內(nèi)容

針對現(xiàn)有技術(shù)中存在的人體運動風格遷移訓(xùn)練難度大且準確率較低問題，本發(fā)明提供一種基于生成流模型的人體運動風格遷移方法及系統(tǒng)。

本發(fā)明提供一種基于生成流模型的人體運動風格遷移方法，包括：

獲取預(yù)設(shè)運動風格序列和運動內(nèi)容序列，并對所述運動內(nèi)容序列進行控制信號提取和歸一化處理，得到運動內(nèi)容輸入數(shù)據(jù)；

將所述預(yù)設(shè)運動風格序列輸入到訓(xùn)練好的人體運動風格遷移模型中，得到所述預(yù)設(shè)運動風格序列對應(yīng)的隱編碼；

將所述隱編碼和所述運動內(nèi)容輸入數(shù)據(jù)輸入到訓(xùn)練好的人體運動風格遷移模型中，得到風格遷移后的運動內(nèi)容序列，所述訓(xùn)練好的人體風格遷移模型是由樣本運動內(nèi)容序列，對生成流模型進行訓(xùn)練得到的。

根據(jù)本發(fā)明提供的一種基于生成流模型的人體運動風格遷移方法，所述訓(xùn)練好的人體風格遷移模型通過以下步驟訓(xùn)練得到：

對樣本運動內(nèi)容序列中每個人體運動數(shù)據(jù)進行提取，得到每個人體運動數(shù)據(jù)對應(yīng)的控制信號，所述控制信號為人體根節(jié)點的前向表示、人體根節(jié)點的側(cè)向表示和人體根節(jié)點相對于垂直地面軸的旋轉(zhuǎn)角速度表示；

將每個人體運動數(shù)據(jù)中各個關(guān)節(jié)坐標進行歸一化處理，得到各個關(guān)節(jié)坐標對應(yīng)的歸一化運動數(shù)據(jù)；

根據(jù)所述控制信號和所述歸一化運動數(shù)據(jù)，構(gòu)建訓(xùn)練樣本集；

將所述訓(xùn)練樣本集輸入到生成流模型進行逐層訓(xùn)練，得到訓(xùn)練好的人體風格遷移模型。

根據(jù)本發(fā)明提供的一種基于生成流模型的人體運動風格遷移方法，所述生成流模型是由多層流基本模塊組成的，所述流基本模塊是由激活標準化層、重排層、劃分-組合操作層、可逆注意力機制變換器和仿射變換耦合層組成的。

根據(jù)本發(fā)明提供的一種基于生成流模型的人體運動風格遷移方法，所述將所述訓(xùn)練樣本集輸入到生成流模型進行逐層訓(xùn)練，得到訓(xùn)練好的人體風格遷移模型，包括：

將所述訓(xùn)練樣本集中的樣本數(shù)據(jù)輸入到激活標準化層，得到第一輸入信息，所述第一輸入信息中每個特征通道具有0均值和單位方差；