[發(fā)明專利]一種基于圖像識別的人體動作預(yù)警方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202111105492.7
• 申請日: 2021-09-22
• 公開（公告）號: CN113688790A
• 公開（公告）日: 2021-11-23
• 發(fā)明（設(shè)計）人: 王力鼎
• 申請（專利權(quán)）人: 武漢工程大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 武漢紅觀專利代理事務(wù)所(普通合伙) 42247
• 代理人: 陳凱

本發(fā)明公開一種基于圖像識別的人體動作預(yù)警方法及系統(tǒng)，所述方法包括：獲取目標(biāo)人物的多角度時序圖像序列，對多角度時序圖像序列進(jìn)行預(yù)處理；根據(jù)預(yù)處理后的多角度時序圖像序列對人體動作進(jìn)行三維重建，提取人體三維骨架特征序列；基于人體三維骨架特征序列進(jìn)行目標(biāo)人物動作識別；構(gòu)建編碼?解碼結(jié)構(gòu)的混合深度神經(jīng)網(wǎng)絡(luò)模型并進(jìn)行預(yù)訓(xùn)練；基于人體三維骨架特征序列和編碼?解碼結(jié)構(gòu)的混合深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行目標(biāo)人物動作預(yù)測，得到下一時刻的人體三維骨架特征；將下一時刻人體三維骨架特征與標(biāo)準(zhǔn)運(yùn)動的人體三維骨架特征進(jìn)行比對，進(jìn)行動作預(yù)警。本發(fā)明可快速推斷出下一時刻的人體三維骨架特征數(shù)據(jù)，對出錯動作進(jìn)行提前預(yù)警。

技術(shù)領(lǐng)域

本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，具體涉及一種基于圖像識別的人體動作預(yù)警方法及系統(tǒng)。

背景技術(shù)

隨著科技水平的提高，越來越多的人通過觀看視頻的方式自主鍛煉，這類自主鍛煉的健身方式極大地促進(jìn)了健身的普及。雖然這種方式有一定的實際意義，但是大多數(shù)情況都是靠自己學(xué)習(xí)，使得健身的動作并不規(guī)范，健身帶來的效果低下，這常常導(dǎo)致人們不能長期堅持健身的原因。此外，錯誤的健身動作不僅無法起到鍛煉身體的作用，反而會造成身體的其他部位的損傷，反而不利于健康。因此需要及時識別人體錯誤動作并規(guī)范健身動作。

現(xiàn)有的人體動作規(guī)范性評價大多是將已完成的動作與標(biāo)準(zhǔn)動作比較，僅可用于事后錯誤矯正，存在滯后性，無法用于人體規(guī)范性動作實時指導(dǎo)。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明提出了一種基于圖像識別的人體動作預(yù)警方法及系統(tǒng)，用于解決現(xiàn)有的健身運(yùn)動矯正存在的較大滯后性的問題。

本發(fā)明第一方面，公開一種基于圖像識別的人體動作預(yù)警方法所述方法包括：

獲取目標(biāo)人物的多角度時序圖像序列，對多角度時序圖像序列進(jìn)行預(yù)處理；

根據(jù)預(yù)處理后的多角度時序圖像序列對人體動作進(jìn)行三維重建，提取人體三維骨架特征序列；

基于人體三維骨架特征序列進(jìn)行目標(biāo)人物動作識別；

構(gòu)建編碼-解碼結(jié)構(gòu)的混合深度神經(jīng)網(wǎng)絡(luò)模型并進(jìn)行預(yù)訓(xùn)練；

基于人體三維骨架特征序列和編碼-解碼結(jié)構(gòu)的混合深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行目標(biāo)人物動作預(yù)測，得到下一時刻的人體三維骨架特征；

將下一時刻人體三維骨架特征與標(biāo)準(zhǔn)運(yùn)動的人體三維骨架特征進(jìn)行比對，進(jìn)行動作預(yù)警。

優(yōu)選的，所述預(yù)處理包括：統(tǒng)一多角度時序圖像序列的尺寸，并轉(zhuǎn)換成灰度圖。

優(yōu)選的，根據(jù)多角度時序圖像序列對人體動作進(jìn)行三維重建，提取人體三維骨架特征序列具體包括：

分別提取預(yù)處理后的多角度時序圖像序列中各個時刻對應(yīng)的多角度圖像數(shù)據(jù)；

分別根據(jù)對應(yīng)的多角度圖像數(shù)據(jù)進(jìn)行三維重建，得到各個時刻對應(yīng)的人體三維模型；

從人體三維模型中提取出各個關(guān)鍵點(diǎn)，將各個關(guān)鍵點(diǎn)按照順序連接，得到人體三維骨架特征向量；

將不同時刻的人體三維骨架特征向量按照時間順序組成人體三維骨架特征序列。

優(yōu)選的，所述基于人體三維骨架特征序列進(jìn)行目標(biāo)人物動作識別具體包括：

獲取不同運(yùn)動參考目標(biāo)的各類健身運(yùn)動的多角度視頻數(shù)據(jù)；

按照同樣的時間節(jié)點(diǎn)分別從同一參考目標(biāo)的所述多角度視頻數(shù)據(jù)中提取多角度時序圖像序列樣本，并進(jìn)行預(yù)處理；

通過相似度分析剔除多角度時序圖像序列樣本中的無效樣本；

根據(jù)多角度時序圖像序列樣本對同一參考目標(biāo)的動作進(jìn)行三維重建，提取同一參考目標(biāo)的人體三維骨架特征序列；