[發(fā)明專利]一種基于可逆流網(wǎng)絡(luò)的無(wú)監(jiān)督動(dòng)作風(fēng)格遷移方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202111415623.1
• 申請(qǐng)日: 2021-11-25
• 公開(kāi)（公告）號(hào): CN113947525A
• 公開(kāi)（公告）日: 2022-01-18
• 發(fā)明（設(shè)計(jì)）人: 高成英;黃悅
• 申請(qǐng)（專利權(quán)）人: 中山大學(xué)
• 主分類號(hào): G06T3/00
• 分類號(hào): G06T3/00;G06T13/40;G06N3/04;G06N3/08
• 代理公司: 廣州粵高專利商標(biāo)代理有限公司 44102
• 代理人: 禹小明

1.一種基于可逆流網(wǎng)絡(luò)的無(wú)監(jiān)督動(dòng)作風(fēng)格遷移方法，其特征在于：所述的方法包括步驟如下：

S1：獲取BVH格式的動(dòng)作數(shù)據(jù)并進(jìn)行預(yù)處理，將預(yù)處理后的動(dòng)作數(shù)據(jù)作為訓(xùn)練樣本；所述的動(dòng)作數(shù)據(jù)包括內(nèi)容動(dòng)作、風(fēng)格動(dòng)作；

S2：構(gòu)建動(dòng)作風(fēng)格遷移模型，所述的動(dòng)作風(fēng)格遷移模型包括用于編碼動(dòng)作隱藏特征的投影流網(wǎng)絡(luò)、用于隱藏特征風(fēng)格遷移的自適應(yīng)實(shí)例歸一化層；

S3：采用訓(xùn)練樣本訓(xùn)練動(dòng)作風(fēng)格遷移模型，在每一輪訓(xùn)練中利用損失函數(shù)對(duì)動(dòng)作風(fēng)格遷移模型參數(shù)進(jìn)行調(diào)整；

S4：將待遷移的動(dòng)作數(shù)據(jù)輸入訓(xùn)練好的動(dòng)作風(fēng)格遷移模型，實(shí)現(xiàn)進(jìn)行任意兩個(gè)動(dòng)作的風(fēng)格遷移。

2.根據(jù)權(quán)利要求1所述的基于可逆流網(wǎng)絡(luò)的無(wú)監(jiān)督動(dòng)作風(fēng)格遷移方法，其特征在于：步驟S1，對(duì)動(dòng)作數(shù)據(jù)進(jìn)行預(yù)處理，具體如下：

S101：將BVH格式的動(dòng)作數(shù)據(jù)轉(zhuǎn)換為四元數(shù)形式x和坐標(biāo)形式x_pos，并以32幀的長(zhǎng)度進(jìn)行片段切割；

S102：分別對(duì)四元數(shù)形式x、坐標(biāo)形式x_pos的數(shù)據(jù)進(jìn)行歸一化。

3.根據(jù)權(quán)利要求1所述的基于可逆流網(wǎng)絡(luò)的無(wú)監(jiān)督動(dòng)作風(fēng)格遷移方法，其特征在于：步驟S2，所述的投影流網(wǎng)絡(luò)采用16個(gè)流結(jié)構(gòu)疊加組成，其中每一個(gè)流包括三部分：激活層、可逆1×1卷積層和仿射耦合層；

所述的激活層讓每個(gè)通道具有零均值和單位方差；

所述的可逆1×1卷積層用于對(duì)特征圖的通道維度進(jìn)行置換；

所述的仿射耦合層使用仿射耦合對(duì)每個(gè)通道數(shù)據(jù)進(jìn)行變換。

4.根據(jù)權(quán)利要求3所述的基于可逆流網(wǎng)絡(luò)的無(wú)監(jiān)督動(dòng)作風(fēng)格遷移方法，其特征在于：所述的仿射耦合層使用仿射耦合對(duì)數(shù)據(jù)進(jìn)行變換，具體如下：

首先使用split()函數(shù)將每個(gè)通道數(shù)據(jù)沿通道維度分成兩半x_a,x_b；然后使用仿射參數(shù)ψ和δ對(duì)其中的一半x_b做仿射變換得到z_b；最后使用concat()函數(shù)沿著通道維度連接x_a,z_b兩個(gè)數(shù)據(jù)；

其中，所述的仿射參數(shù)ψ,δ是使用Transformer網(wǎng)絡(luò)，根據(jù)每個(gè)通道數(shù)據(jù)的一半x_a和動(dòng)作數(shù)據(jù)的坐標(biāo)形式x_pos進(jìn)行計(jì)算得到。

5.根據(jù)權(quán)利要求1所述的基于可逆流網(wǎng)絡(luò)的無(wú)監(jiān)督動(dòng)作風(fēng)格遷移方法，其特征在于：步驟S2，所述的自適應(yīng)實(shí)例歸一化層，用于進(jìn)行隱藏特征之間的風(fēng)格遷移；所述的自適應(yīng)實(shí)例歸一化的具體計(jì)算如下：

其中，z_c表示內(nèi)容動(dòng)作的隱藏特征，z_s表示風(fēng)格動(dòng)作的隱藏特征，μ表示均值，σ表示標(biāo)準(zhǔn)差。

6.根據(jù)權(quán)利要求1所述的基于可逆流網(wǎng)絡(luò)的無(wú)監(jiān)督動(dòng)作風(fēng)格遷移方法，其特征在于：所述的動(dòng)作風(fēng)格遷移模型對(duì)輸入的動(dòng)作數(shù)據(jù)進(jìn)行處理如下：

D1：將內(nèi)容動(dòng)作、風(fēng)格動(dòng)作輸入到投影流網(wǎng)絡(luò)中，通過(guò)前向傳播過(guò)程分別得到內(nèi)容動(dòng)作、風(fēng)格動(dòng)作對(duì)應(yīng)的第一隱藏特征；

D2：分別將內(nèi)容動(dòng)作、風(fēng)格動(dòng)作對(duì)應(yīng)的第一隱藏特征輸入自適應(yīng)實(shí)例歸一化層，將風(fēng)格動(dòng)作的第一隱藏特征映射為兩個(gè)仿射參數(shù)ψ,δ，并以此對(duì)內(nèi)容動(dòng)作的第一隱藏特征進(jìn)行自適應(yīng)實(shí)例歸一化，最終輸出風(fēng)格化動(dòng)作的第二隱藏特征；

D3：將風(fēng)格化動(dòng)作的第二隱藏特征輸入到投影流網(wǎng)絡(luò)并進(jìn)行反向傳播，從而重構(gòu)出最終風(fēng)格遷移后的動(dòng)作。