[發明專利]基于卷積神經網絡的人體運動合成方法

在審

• 申請號: 201811337675.X
• 申請日: 2018-11-12
• 公開（公告）號: CN109584345A
• 公開（公告）日: 2019-04-05
• 發明（設計）人: 周東生;封心珠;劉瑞;易鵬飛;張強;楊鑫;魏小鵬
• 申請（專利權）人: 大連大學
• 主分類號: G06T13/40
• 分類號: G06T13/40;G06N3/04
• 代理公司: 大連八方知識產權代理有限公司 21226
• 代理人: 衛茂才

1.一種基于卷積神經網絡的人體運動合成方法，其特征在于，該方法包括訓練模型及測試模型的步驟：

訓練模型的步驟：

S1：收集的運動捕捉數據，輸入到網絡中進行訓練；

S2：建立三層卷積神經網絡模型，實現高層參數與人物運動之間的回歸，在三層卷積神經網絡上疊加一個自編碼器網絡模型，將輸入的運動數據進行編碼，解碼，訓練；

S3：在卷積自編碼器的隱藏單元中加入位置約束、骨長度約束、軌跡約束；

S4：在三層卷積神經網絡輸出之前，加入人物風格約束網絡，提取運動的內容和風格；

S5：同時訓練位置約束、骨長度約束、軌跡約束、以及風格網絡的提取，使得損失函數達到最小，至此模型構建完畢；

測試模型的步驟：

S6：將測試的運動數據輸入到訓練好的模型中，以測試數據是否能夠合成運動。

2.如權利要求1所述的一種基于卷積神經網絡的人體運動合成方法，其特征在于，在S2中，采用以下步驟得到卷積神經網絡的模型：

1)對輸入的運動數據通過(1)式得到運動的輸出X∈R^n×d:

Γ＝RELU(Ψ(RELU(RELU(γ(T)*W₁+b₁)*W₂+b₂)*W₃+b₃))(1)

其中b₃∈R^m，h₁，h₂是隱藏單位，w₁，w₂，w₃是三個濾波器寬度，l是高層參數的自由度，m是隱藏單元的個數，Φ＝{W₁,W₂,W₃,b₁,b₂,b₃}；

2)通過(2)式進行訓練

其中第一項計算回歸的均方誤差，第二項是稀疏項，以確保隱藏單位的最小數目用于執行回歸；

3)對輸入的運動數據通過(3)式X進行編碼:

Φ(X)＝PRELU(Ψ(X*W₀+b₀))(3)

其中(*)表示卷積運算，表示權重矩陣，W₀為時間濾波器寬度，m為自動編碼層中隱藏單元的個數，b₀∈R^m表示偏置，ψ表示最大池操作，PRELU為激活函數；

4)輸入數據X進行編碼以后得到的輸出記為H，通過(4)式對H進行解碼:

其中隱藏單元逆池操作Ψ⁺，偏置b₀和權重矩陣

5)通過(5)式對數據進行訓練：

θ＝{W₀,b₀}，第一個項表示平方誤差，第二個項表示一個額外的稀疏項；α為常數，設置為0.1，θ為網絡參數。

3.如權利要求1所述的一種基于卷積神經網絡的人體運動合成方法，其特征在于，S3所述的：

1)位置約束：給定隱藏單元空間H中的初始輸入運動，計算違反位置的代價函數如下：

V'_j∈R^n×2是人體坐標系中關節j的目標速度，W^H∈Rⁿ根的速度，有關節的地方的位置和速度，以及身體繞Y軸的角速度；

2)骨長度約束：代價函數如下：

其中b是人體的骨骼指數，是在坐標系i中，b兩端關節重建的三維位置，l_b是b骨骼的長度；

3)軌跡約束：約束目標函數如下：

4)自動編碼器所產生的運動通過梯度下降在隱藏單元的空間中進行調整，直到總的約束收斂到一個閾值

4.如權利要求1所述的一種基于卷積神經網絡的人體運動合成方法，其特征在于，S4所述的提取運動的內容和風格：

1)使用Gram矩陣代表隱藏單元中運動的內積在時間軸i上的和，通過(10)式得到：

2)風格約束：為了確保運動的輸出風格包含輸入的風格，通過(11)式得到：

Loss_Style(I)＝α||Gram(Φ(s))-Gram(Φ(Γ(I)))|| (11)

其中s為輸入動作的風格，α為一些小的常數；

3)內容約束：為了確保運動的輸出內容包含輸入的內容，通過(12)式得到：

Loss_Content(I)＝β||Φ(I)-Φ(Γ(I))|| (12)

其中I為輸入的動作內容，β為一些小的常數；

4)通過梯度下降在隱藏單元的空間中進行調整，直到(13)式收斂到一個閾值:

5)通過(14)式同時取兩者最小化：

S＝arg^minI'+H' (14)。