[發明專利]一種基于區域顯著性分析的人體運動跟蹤方法及系統

在審

• 申請號: 202210422661.8
• 申請日: 2022-04-21
• 公開（公告）號: CN115170604A
• 公開（公告）日: 2022-10-11
• 發明（設計）人: 郭詩輝;江瀟;姚俊峰;陳志鵬;石祥仁
• 申請（專利權）人: 廈門大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06N3/04;G06N3/08
• 代理公司: 廈門市新華專利商標代理有限公司 35203
• 代理人: 朱凌

1.一種基于區域顯著性分析的人體運動跟蹤方法，其特征在于：包括如下步驟：

步驟S10、基于卷積神經網絡創建一門控網絡模型以及若干個專家模型，對各所述門控網絡模型以及專家模型進行訓練；

步驟S20、獲取人體姿態數據以及柔性傳感器的監測數據；

步驟S30、將所述人體姿態數據輸入門控網絡模型，獲取各所述專家模型的權重系數；

步驟S40、將所述監測數據分別輸入各專家模型得到姿態預測結果，基于所述權重系數以及姿態預測結果得到當前幀的人體姿態，進而完成人體運動跟蹤。

2.如權利要求1所述的一種基于區域顯著性分析的人體運動跟蹤方法，其特征在于：所述步驟S10中，所述門控網絡模型用于根據人體姿態數據輸出各專家模型的權重系數，包含三層全連接層；

所述專家模型用于根據柔性傳感器的監測數據輸出姿態預測結果，包含一層BN層、四層LSTM層、一層全連接層，采用所述全連接層作為輸入層，采用MSELoss函數作為損失函數，采用ReLU函數作為激活函數。

3.如權利要求1所述的一種基于區域顯著性分析的人體運動跟蹤方法，其特征在于：所述步驟S20具體為：

通過光學動作捕捉設備獲取人體姿態數據，通過柔性傳感器獲取人體的監測數據；

所述人體姿態數據記錄為y^(t)，y^(t)為3×M的矩陣；所述監測數據記錄為x^(t)，x^(t)是長度為S的向量；

其中，t表示時間步長；S表示柔性傳感器的數量；M表示需要預測人體的關節數量。

4.如權利要求3所述的一種基于區域顯著性分析的人體運動跟蹤方法，其特征在于：所述步驟S30具體為：

將上一幀的所述人體姿態數據y^(t-1)輸入門控網絡模型，獲取各所述專家模型的權重系數w(K)；其中，K表示專家模型的編號。

5.如權利要求1所述的一種基于區域顯著性分析的人體運動跟蹤方法，其特征在于：所述步驟S40具體為：

將當前幀之前的所述監測數據分別輸入各專家模型得到姿態預測結果，基于各所述權重系數對姿態預測結果進行加權平均，得到當前幀的人體姿態，進而完成人體運動跟蹤。

6.一種基于區域顯著性分析的人體運動跟蹤系統，其特征在于：包括如下模塊：

模型創建模塊，用于基于卷積神經網絡創建一門控網絡模型以及若干個專家模型，對各所述門控網絡模型以及專家模型進行訓練；

人體數據獲取模塊，用于獲取人體姿態數據以及柔性傳感器的監測數據；

權重系數計算模塊，用于將所述人體姿態數據輸入門控網絡模型，獲取各所述專家模型的權重系數；

運動跟蹤模塊，用于將所述監測數據分別輸入各專家模型得到姿態預測結果，基于所述權重系數以及姿態預測結果得到當前幀的人體姿態，進而完成人體運動跟蹤。

7.如權利要求6所述的一種基于區域顯著性分析的人體運動跟蹤系統，其特征在于：所述模型創建模塊中，所述門控網絡模型用于根據人體姿態數據輸出各專家模型的權重系數，包含三層全連接層；

所述專家模型用于根據柔性傳感器的監測數據輸出姿態預測結果，包含一層BN層、四層LSTM層、一層全連接層，采用所述全連接層作為輸入層，采用MSELoss函數作為損失函數，采用ReLU函數作為激活函數。

8.如權利要求6所述的一種基于區域顯著性分析的人體運動跟蹤系統，其特征在于：所述人體數據獲取模塊具體為：

通過光學動作捕捉設備獲取人體姿態數據，通過柔性傳感器獲取人體的監測數據；

所述人體姿態數據記錄為y^(t)，y^(t)為3×M的矩陣；所述監測數據記錄為x^(t)，x^(t)是長度為S的向量；

其中，t表示時間步長；S表示柔性傳感器的數量；M表示需要預測人體的關節數量。