[發(fā)明專利]一種基于區(qū)域顯著性分析的人體運(yùn)動跟蹤方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202210422661.8
• 申請日: 2022-04-21
• 公開（公告）號: CN115170604A
• 公開（公告）日: 2022-10-11
• 發(fā)明（設(shè)計）人: 郭詩輝;江瀟;姚俊峰;陳志鵬;石祥仁
• 申請（專利權(quán)）人: 廈門大學(xué)
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06N3/04;G06N3/08
• 代理公司: 廈門市新華專利商標(biāo)代理有限公司 35203
• 代理人: 朱凌

本發(fā)明提供了運(yùn)動跟蹤技術(shù)領(lǐng)域的一種基于區(qū)域顯著性分析的人體運(yùn)動跟蹤方法及系統(tǒng)，方法包括如下步驟：步驟S10、基于卷積神經(jīng)網(wǎng)絡(luò)創(chuàng)建一門控網(wǎng)絡(luò)模型以及若干個專家模型，對各所述門控網(wǎng)絡(luò)模型以及專家模型進(jìn)行訓(xùn)練；步驟S20、獲取人體姿態(tài)數(shù)據(jù)以及柔性傳感器的監(jiān)測數(shù)據(jù)；步驟S30、將所述人體姿態(tài)數(shù)據(jù)輸入門控網(wǎng)絡(luò)模型，獲取各所述專家模型的權(quán)重系數(shù)；步驟S40、將所述監(jiān)測數(shù)據(jù)分別輸入各專家模型得到姿態(tài)預(yù)測結(jié)果，基于所述權(quán)重系數(shù)以及姿態(tài)預(yù)測結(jié)果得到當(dāng)前幀的人體姿態(tài)，進(jìn)而完成人體運(yùn)動跟蹤。本發(fā)明的優(yōu)點在于：極大的提升了人體運(yùn)動跟蹤的精度。

技術(shù)領(lǐng)域

本發(fā)明涉及運(yùn)動跟蹤技術(shù)領(lǐng)域，特別指一種基于區(qū)域顯著性分析的人體運(yùn)動跟蹤方法及系統(tǒng)。

背景技術(shù)

運(yùn)動跟蹤也被稱為動作捕捉，即通過傳感器(設(shè)備)來跟蹤人體或其他運(yùn)動物體的運(yùn)動軌跡并進(jìn)行記錄。運(yùn)動跟蹤的設(shè)備分為基于光學(xué)攝像機(jī)的光學(xué)動作捕捉設(shè)備和基于慣性測量單元的慣性動作捕捉設(shè)備。近年來，隨著柔性傳感器的發(fā)展，也可通過柔性傳感器進(jìn)行的運(yùn)動跟蹤。柔性傳感器一般用于檢測拉伸、形變，具有生物相容性，高拉伸性和輕便性的優(yōu)點。

現(xiàn)有通過柔性傳感器進(jìn)行人體運(yùn)動跟蹤的方法中，常見的方法有兩類，一類是直接采用全身的傳感器數(shù)據(jù)對人體全身姿態(tài)進(jìn)行預(yù)測，如Deep Full-Body Motion Networkfor a Soft Wearable Motion Sensing Suit，另一類是只用對應(yīng)部位的傳感器對對應(yīng)部位的關(guān)節(jié)姿態(tài)進(jìn)行預(yù)測，如Soft Smart Garments for Lower Limb Joint PositionAnalysis。然而前者容易受到數(shù)據(jù)集中噪聲的影響，導(dǎo)致過擬合現(xiàn)象，后者則無法學(xué)習(xí)到人體不同關(guān)節(jié)角度之間的隱含關(guān)聯(lián)。此外，柔性傳感器通常存在位置偏移及變形老化現(xiàn)象，這會導(dǎo)致柔性傳感器測量的數(shù)據(jù)中包含有巨大的噪聲，這給數(shù)據(jù)分析和利用造成巨大挑戰(zhàn)。

因此，如何提供一種基于區(qū)域顯著性分析的人體運(yùn)動跟蹤方法及系統(tǒng)，實現(xiàn)提升人體運(yùn)動跟蹤的精度，成為一個亟待解決的技術(shù)問題。

發(fā)明內(nèi)容

本發(fā)明要解決的技術(shù)問題，在于提供一種基于區(qū)域顯著性分析的人體運(yùn)動跟蹤方法及系統(tǒng)，實現(xiàn)提升人體運(yùn)動跟蹤的精度。

第一方面，本發(fā)明提供了一種基于區(qū)域顯著性分析的人體運(yùn)動跟蹤方法，包括如下步驟：

步驟S10、基于卷積神經(jīng)網(wǎng)絡(luò)創(chuàng)建一門控網(wǎng)絡(luò)模型以及若干個專家模型，對各所述門控網(wǎng)絡(luò)模型以及專家模型進(jìn)行訓(xùn)練；

步驟S20、獲取人體姿態(tài)數(shù)據(jù)以及柔性傳感器的監(jiān)測數(shù)據(jù)；

步驟S30、將所述人體姿態(tài)數(shù)據(jù)輸入門控網(wǎng)絡(luò)模型，獲取各所述專家模型的權(quán)重系數(shù)；

步驟S40、將所述監(jiān)測數(shù)據(jù)分別輸入各專家模型得到姿態(tài)預(yù)測結(jié)果，基于所述權(quán)重系數(shù)以及姿態(tài)預(yù)測結(jié)果得到當(dāng)前幀的人體姿態(tài)，進(jìn)而完成人體運(yùn)動跟蹤。

進(jìn)一步地，所述步驟S10中，所述門控網(wǎng)絡(luò)模型用于根據(jù)人體姿態(tài)數(shù)據(jù)輸出各專家模型的權(quán)重系數(shù)，包含三層全連接層；

所述專家模型用于根據(jù)柔性傳感器的監(jiān)測數(shù)據(jù)輸出姿態(tài)預(yù)測結(jié)果，包含一層BN層、四層LSTM層、一層全連接層，采用所述全連接層作為輸入層，采用MSELoss函數(shù)作為損失函數(shù)，采用ReLU函數(shù)作為激活函數(shù)。

進(jìn)一步地，所述步驟S20具體為：

通過光學(xué)動作捕捉設(shè)備獲取人體姿態(tài)數(shù)據(jù)，通過柔性傳感器獲取人體的監(jiān)測數(shù)據(jù)；

所述人體姿態(tài)數(shù)據(jù)記錄為y^(t)，y^(t)為3×M的矩陣；所述監(jiān)測數(shù)據(jù)記錄為x^(t)，x^(t)是長度為S的向量；

其中，t表示時間步長；S表示柔性傳感器的數(shù)量；M表示需要預(yù)測人體的關(guān)節(jié)數(shù)量。