[發(fā)明專利]一種基于圖像識別的人體動作預(yù)警方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202111105492.7
• 申請日: 2021-09-22
• 公開（公告）號: CN113688790A
• 公開（公告）日: 2021-11-23
• 發(fā)明（設(shè)計(jì)）人: 王力鼎
• 申請（專利權(quán)）人: 武漢工程大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 武漢紅觀專利代理事務(wù)所(普通合伙) 42247
• 代理人: 陳凱

1.一種基于圖像識別的人體動作預(yù)警方法，其特征在于，所述方法包括：

獲取目標(biāo)人物的多角度時序圖像序列并進(jìn)行預(yù)處理；

根據(jù)預(yù)處理后的多角度時序圖像序列對人體動作進(jìn)行三維重建，提取人體三維骨架特征序列；

基于人體三維骨架特征序列進(jìn)行目標(biāo)人物動作識別；

構(gòu)建編碼-解碼結(jié)構(gòu)的混合深度神經(jīng)網(wǎng)絡(luò)模型并進(jìn)行預(yù)訓(xùn)練；

基于人體三維骨架特征序列和編碼-解碼結(jié)構(gòu)的混合深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行目標(biāo)人物動作預(yù)測，得到下一時刻的人體三維骨架特征；

將下一時刻人體三維骨架特征與標(biāo)準(zhǔn)運(yùn)動的人體三維骨架特征進(jìn)行比對，進(jìn)行動作預(yù)警。

2.根據(jù)權(quán)利要求1所述基于圖像識別的人體動作預(yù)警方法，其特征在于，所述預(yù)處理包括：統(tǒng)一多角度時序圖像序列的尺寸，并轉(zhuǎn)換成灰度圖。

3.根據(jù)權(quán)利要求1所述基于圖像識別的人體動作預(yù)警方法，其特征在于，根據(jù)多角度時序圖像序列對人體動作進(jìn)行三維重建，提取人體三維骨架特征序列具體包括：

分別提取預(yù)處理后的多角度時序圖像序列中各個時刻對應(yīng)的多角度圖像數(shù)據(jù)；

分別根據(jù)對應(yīng)的多角度圖像數(shù)據(jù)進(jìn)行三維重建，得到各個時刻對應(yīng)的人體三維模型；

從人體三維模型中提取出各個關(guān)鍵點(diǎn)，將各個關(guān)鍵點(diǎn)按照順序連接，得到人體三維骨架特征向量；

將不同時刻的人體三維骨架特征向量按照時間順序組成人體三維骨架特征序列。

4.根據(jù)權(quán)利要求3所述基于圖像識別的人體動作預(yù)警方法，其特征在于，所述基于人體三維骨架特征序列進(jìn)行目標(biāo)人物動作識別具體包括：

獲取不同運(yùn)動參考目標(biāo)的各類健身運(yùn)動的多角度視頻數(shù)據(jù)；

按照同樣的時間節(jié)點(diǎn)分別從同一參考目標(biāo)的所述多角度視頻數(shù)據(jù)中提取多角度時序圖像序列樣本，并進(jìn)行預(yù)處理；

通過相似度分析剔除多角度時序圖像序列樣本中的無效樣本；

根據(jù)多角度時序圖像序列樣本對同一參考目標(biāo)的動作進(jìn)行三維重建，提取同一參考目標(biāo)的人體三維骨架特征序列；

分別對同一參考目標(biāo)的人體三維骨架特征序列中的相鄰元素做差分運(yùn)算，將差分運(yùn)算結(jié)果作為當(dāng)前參考目標(biāo)的運(yùn)動參數(shù)；

分別獲取不同參考目標(biāo)的運(yùn)動參數(shù)，組成第一訓(xùn)練集，通過第一訓(xùn)練集訓(xùn)練CNN模型，通過CNN提取參考目標(biāo)的運(yùn)動特征向量，組成第二訓(xùn)練集，通過第二訓(xùn)練集訓(xùn)練SVM分類器，實(shí)現(xiàn)目標(biāo)人物動作識別。

5.根據(jù)權(quán)利要求4所述基于圖像識別的人體動作預(yù)警方法，其特征在于，所述編碼-解碼結(jié)構(gòu)的混合深度神經(jīng)網(wǎng)絡(luò)模型包括：依次連接的輸入層編碼模塊、第一全連接層、解碼模塊、第二全連接層和輸出層；

所述編碼模塊包括依次連接的第一長短期記憶神經(jīng)網(wǎng)絡(luò)、多層卷積神經(jīng)網(wǎng)絡(luò)和第二長短期記憶神經(jīng)網(wǎng)絡(luò)；

所述編碼模塊包括依次連接的第三長短期記憶神經(jīng)網(wǎng)絡(luò)、多層反卷積神經(jīng)網(wǎng)絡(luò)和第四長短期記憶神經(jīng)網(wǎng)絡(luò)。

6.根據(jù)權(quán)利要求5所述基于圖像識別的人體動作預(yù)警方法，其特征在于，所述編碼-解碼結(jié)構(gòu)的混合深度神經(jīng)網(wǎng)絡(luò)模型的預(yù)訓(xùn)練包括：

收集各類運(yùn)動的多角度標(biāo)準(zhǔn)時序動作圖像，并提取標(biāo)準(zhǔn)人體三維骨架特征序列，通過差分運(yùn)算得到標(biāo)準(zhǔn)運(yùn)動參數(shù)，通過標(biāo)準(zhǔn)運(yùn)動參數(shù)制作標(biāo)準(zhǔn)訓(xùn)練集；

將所述標(biāo)準(zhǔn)訓(xùn)練集與第一訓(xùn)練集合并，通過反向傳播訓(xùn)練所述編碼-解碼結(jié)構(gòu)的混合深度神經(jīng)網(wǎng)絡(luò)模型的參數(shù)，直到模型收斂。

7.根據(jù)權(quán)利要求1所述基于圖像識別的人體動作預(yù)警方法，其特征在于，將下一時刻人體三維骨架特征與標(biāo)準(zhǔn)運(yùn)動的人體三維骨架特征進(jìn)行比對，進(jìn)行動作預(yù)警具體包括：

分別比較下一時刻人體三維骨架特征與標(biāo)準(zhǔn)運(yùn)動的人體三維骨架特征中的各關(guān)節(jié)特征向量，計(jì)算各關(guān)節(jié)特征向量的差值；

若目標(biāo)人物的某關(guān)節(jié)特征向量的差值超出設(shè)定值，播放預(yù)設(shè)好的警告提示語音。