[發(fā)明專利]一種基于神經(jīng)網(wǎng)絡與卡爾曼濾波的人體姿態(tài)估計方法

在審

• 申請?zhí)枺?/td>: 202210647342.7
• 申請日: 2022-06-08
• 公開（公告）號: CN114973417A
• 公開（公告）日: 2022-08-30
• 發(fā)明（設計）人: 毛城;徐杰威;楊旭升
• 申請（專利權(quán)）人: 浙江工業(yè)大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/82;G06N3/04;G06N3/08;G06T7/277
• 代理公司: 浙江千克知識產(chǎn)權(quán)代理有限公司 33246
• 代理人: 冷紅梅

本發(fā)明涉及人體姿態(tài)估計領(lǐng)域，尤其涉及一種基于神經(jīng)網(wǎng)絡與卡爾曼濾波的人體姿態(tài)估計方法。包括：步驟1)建立并訓練BP神經(jīng)網(wǎng)絡模型，建立運動模型和量測模型；步驟2)設定初始狀態(tài)；步驟3)計算得到先驗預測值及其協(xié)方差；步驟4)計算量測值的先驗殘差及先驗協(xié)方差；步驟5)讀取視覺傳感器測量值，計算后驗殘差及后驗協(xié)方差；步驟6)計算馬氏距離的平方，若大于預設閾值，則以先驗預測值替代，返回步驟5)，若處于預設區(qū)間內(nèi)，則計算自適應因子并更新后驗協(xié)方差，進入步驟7)；步驟7)計算卡爾曼濾波增益、位置估計值和更新狀態(tài)的協(xié)方差矩陣。本發(fā)明的有益效果主要表現(xiàn)在：有效降低復雜動作建模的難度，提高了對不確定性噪聲的魯棒性。

技術(shù)領(lǐng)域

本發(fā)明涉及人體姿態(tài)估計領(lǐng)域，尤其涉及一種基于神經(jīng)網(wǎng)絡與卡爾曼濾波的人體姿態(tài)估計方法。

背景技術(shù)

人體姿態(tài)估計是計算機視覺領(lǐng)域中的重要研究方向之一，在人機交互、行為識別、視頻監(jiān)視以及體育游戲等領(lǐng)域中有著重要的應用價值。特別的，隨著人工智能、3D視覺等技術(shù)的發(fā)展，人體姿態(tài)估計技術(shù)被應用于工業(yè)、農(nóng)業(yè)生產(chǎn)等領(lǐng)域。然而，由于人體運動的隨機性，如何獲取準確、有效的人體姿態(tài)仍是一件非常具有挑戰(zhàn)性的工作。

隨著深度神經(jīng)網(wǎng)絡的不斷發(fā)展，利用神經(jīng)網(wǎng)絡的非線性映射能力，可以有效降低人體運動建模的難度。然而，由于人體運動過程是一個隨機連續(xù)的過程，使得運用BP神經(jīng)網(wǎng)絡等得到的運動學模型與實際值往往有一定的偏差。另一方面，在進行人體關(guān)節(jié)點測量的噪聲也存在不確定性，不再滿足高斯白噪聲的假設，利用傳統(tǒng)的卡爾曼濾波進行人體姿態(tài)估計時往往不能到達滿意的效果。為此，可通過引入自適應因子的方法來解決在人體姿態(tài)估計過程中存在不確定噪聲的問題。然而，由于人體運動的隨機性，以及同時存在的量測噪聲不確定性，目前，還沒有技術(shù)能有效地解決人體姿態(tài)估計中存在建模誤差、量測不確定等問題，來提高人體姿態(tài)估計的精度和魯棒性。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問題：目前人體姿態(tài)估計方法精度低且魯棒性差的技術(shù)問題。提出了一種基于神經(jīng)網(wǎng)絡與卡爾曼濾波的人體姿態(tài)估計方法，借助神經(jīng)網(wǎng)絡和卡爾曼濾波提高了人體姿態(tài)估計的準確度和魯棒性。

解決上述技術(shù)問題，本發(fā)明采用如下技術(shù)方案：一種基于神經(jīng)網(wǎng)絡與卡爾曼濾波的人體姿態(tài)估計方法，包括：

步驟1)獲取三維人體關(guān)節(jié)點的位置數(shù)據(jù)，人工標記后作為訓練樣本，建立并訓練BP神經(jīng)網(wǎng)絡模型，得到狀態(tài)轉(zhuǎn)移函數(shù)fⁱ(xⁱ)，i∈[1,N]，N為人體關(guān)節(jié)點數(shù)量，xⁱ為第i個人體關(guān)節(jié)點當前狀態(tài)，建立各個人體關(guān)節(jié)點的運動模型和量測模型；

步驟2)設定人體姿態(tài)各關(guān)節(jié)點的初始狀態(tài)及其協(xié)方差，分別記為和

步驟3)根據(jù)狀態(tài)轉(zhuǎn)移函數(shù)fⁱ(xⁱ)和第k-1時刻第i個人體關(guān)節(jié)點位置，分別計算得到k時刻各個人體關(guān)節(jié)點位置的先驗預測值及其協(xié)方差

步驟4)根據(jù)擴展卡爾曼濾波狀態(tài)方程計算人體關(guān)節(jié)點位置量測值的先驗殘差及先驗協(xié)方差

步驟5)讀取第k時刻各個人體關(guān)節(jié)點的視覺傳感器測量值，代入量測模型獲得各個人體關(guān)節(jié)點的量測位置，根據(jù)擴展卡爾曼濾波狀態(tài)方程分別計算人體關(guān)節(jié)點位置量測值的后驗殘差及后驗協(xié)方差

步驟6)根據(jù)所得的先驗殘差先驗協(xié)方差后驗殘差及后驗協(xié)方差分別計算馬氏距離的平力和若則剔除視覺傳感器測量值，并以先驗預測值作為第k時刻第i個人體關(guān)節(jié)點位置的估計值，返回步驟5)，若則計算自適應因子并更新后驗協(xié)方差進入步驟7)，若則直接進入步驟7)，其中，和為對于給定顯著性水平和下，服從自由度為3的卡方分布的置信界，且滿足

步驟7)根據(jù)先驗殘差及先驗協(xié)方差計算第k時刻各個人體關(guān)節(jié)點位置變化的卡爾曼濾波增益位置估計值和更新狀態(tài)的協(xié)方差矩陣由位置估計值獲得人體姿態(tài)的估計；

步驟8)重復步驟3)至步驟7)持續(xù)獲得人體姿態(tài)估計結(jié)果。