[發明專利]基于深度狀態空間模型的3D人體運動預測方法

在審

• 申請號: 202011500519.8
• 申請日: 2020-12-17
• 公開（公告）號: CN112581499A
• 公開（公告）日: 2021-03-30
• 發明（設計）人: 劉小麗;尹建芹;劉金;黨永浩
• 申請（專利權）人: 北京郵電大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06N3/04;G06K9/62
• 代理公司: 北京久維律師事務所 11582
• 代理人: 邢江峰

1.一種基于深度狀態空間模型的3D人體運動預測方法，其特征在于，先將人體運動的位置和速度作為觀測，采用深度網絡提取歷史姿態序列的運動動力學規律來初始化狀態空間模型的狀態，將人體運動系統建模為深度狀態空間模型，通過狀態到觀測的轉移遞歸地預測3D人體運動的多個未來姿態。

2.根據權利要求1所述的一種基于深度狀態空間模型的3D人體運動預測方法，其特征在于，未來姿態表示為模型觀測的轉移。

3.根據權利要求2所述的一種基于深度狀態空間模型的3D人體運動預測方法，其特征在于，姿態序列表示的方法為：

給定一個長度為T₁的輸入序列S₁＝{p(t₀)}(t＝-(T₁-1),…,-1,0)，其中，p(t₀)表示姿態序列S₁中t₀時刻的姿態；輸入序列S₁的速度定義為V₁＝{v(t₀)}，其中，v(t₀)＝p(t₀)-p(t₀-1)，v(-(T₁-1))＝{0}；將輸入序列S₁表示成3個2D張量：S_1x,S_1y和S_1z，分別表示序列S₁沿著x,y,z軸的運動軌跡；在速度空間當中，將V₁表示為3個2D張量：V_1x，V_1y和V_1z，分別表示沿著坐標軸x，y和z的速度信息。

4.根據權利要求3所述的一種基于深度狀態空間模型的3D人體運動預測方法，其特征在于，人體運動系統采用動態系統的狀態空間模型表示，如公式(1)和公式(2)所示：

I(t+1)＝f₁(I(t),t)+a(t) (1)

O(t)＝f₂(I(t),t)+b(t) (2)

其中，I(t)和O(t)分別表示t時刻的狀態和觀測；a(t)和b(t)分別為t時刻的過程噪聲和測量噪聲；f₁(·)和f₂(·)為系統函數。

5.根據權利要求4所述的一種基于深度狀態空間模型的3D人體運動預測方法，其特征在于，將人體運動的位置和速度作為觀測，將歷史姿態序列的運動動力學規律初始化為狀態空間模型的狀態，a(t)和b(t)分別初始化為0；序列S₁對應的未來姿態定義為：其中，S₂的長度為T₂，其對應的速度為表示序列S₂中t時刻的姿態，表示t時刻的速度；因此，狀態I(t)和觀測O(t)分別重新定義為公式(3)和公式(4)：

其中，O(0)初始化為{p(0),0}，表示t-1時刻歷史姿態的其他多階信息。

6.根據權利要求5所述的一種基于深度狀態空間模型的3D人體運動預測方法，其特征在于，深度狀態空間模型為一個兩階段系統，包括狀態-狀態轉移和狀態-觀測轉移；其中，狀態-狀態轉移：這一階段是通過系統函數f₁(·)更新系統狀態，生成未來姿態的多階信息，并更新先前姿態的其他多階信息，這些信息由深度網絡自動學習；狀態-觀測轉移：這個階段觀測值通過系統函數f₂(·)根據系統的當前狀態進行計算，這一部分由解碼器自動學習完成；此外，由于人體當前的位置和速度決定下一時刻人體的位置，因此，未來的姿態由公式(5)計算：