[發(fā)明專利]異常動作確定方法、裝置、電子設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202110625830.3
• 申請日: 2021-06-04
• 公開（公告）號: CN113392742A
• 公開（公告）日: 2021-09-14
• 發(fā)明（設(shè)計）人: 趙勇;夏鵬飛
• 申請（專利權(quán)）人: 北京格靈深瞳信息技術(shù)股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06N3/04;G06N3/08
• 代理公司: 北京新知遠(yuǎn)方知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11397
• 代理人: 馬軍芳;張艷

1.一種異常動作確定方法，其特征在于，所述方法包括：

獲取與目標(biāo)動作對應(yīng)的目標(biāo)視頻片段；

獲取所述目標(biāo)視頻片段中每幀圖像對應(yīng)的人體骨骼關(guān)鍵點，并基于每幀圖像對應(yīng)的所述人體骨骼關(guān)鍵點，獲取與所述目標(biāo)視頻片段對應(yīng)的運(yùn)動姿態(tài)特征，所述運(yùn)動姿態(tài)特征表示在所述目標(biāo)視頻片段中人體姿勢的變化模式；

將所述運(yùn)動姿態(tài)特征輸入異常識別模型中，得到與所述運(yùn)動姿態(tài)特征對應(yīng)的似然值，所述異常識別模型為預(yù)先訓(xùn)練好的變分自編碼器以及卷積神經(jīng)網(wǎng)絡(luò)；

根據(jù)所述似然值，確定所述視頻片段中的目標(biāo)動作是否為異常動作。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取與所述目標(biāo)動作對應(yīng)的目標(biāo)視頻片段，包括：

獲取包括所述目標(biāo)動作的待識別視頻；

識別所述待識別視頻中每幀圖像的人體骨骼關(guān)鍵點；

基于所述人體骨骼關(guān)鍵點，從所述待識別視頻中，提取出與所述目標(biāo)動作對應(yīng)的目標(biāo)視頻片段。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，獲取所述目標(biāo)視頻片段中每幀圖像對應(yīng)的人體骨骼關(guān)鍵點，并基于每幀圖像對應(yīng)的所述人體骨骼關(guān)鍵點，構(gòu)建與所述目標(biāo)視頻片段對應(yīng)的運(yùn)動姿態(tài)特征，包括：

識別所述目標(biāo)視頻片段中每幀圖像對應(yīng)的人體骨骼關(guān)鍵點；

基于每幀圖像對應(yīng)的所述人體骨骼關(guān)鍵點，構(gòu)建與每幀圖像對應(yīng)的姿態(tài)向量，所述姿態(tài)向量包括多個維度的參數(shù)；

提取每個姿態(tài)向量中的同一維度的參數(shù)，并根據(jù)構(gòu)建所述姿態(tài)向量所使用的圖像在所述目標(biāo)視頻片段中的幀數(shù)，得到每個維度對應(yīng)的時序向量；

將每個維度對應(yīng)的時序向量所構(gòu)成的矩陣，作為所述運(yùn)動姿態(tài)特征。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述異常識別模型通過以下步驟得到：

獲取樣本片段，所述樣本片段為標(biāo)準(zhǔn)的目標(biāo)動作對應(yīng)的視頻片段；

獲取與所述樣本片段對應(yīng)的樣本運(yùn)動姿態(tài)特征；

基于所述樣本運(yùn)動姿態(tài)特征對所述變分自編碼器以及卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到所述異常識別模型。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述異常識別模型從輸入到輸出，依次包括，第一卷積神經(jīng)網(wǎng)絡(luò)、變分自編碼器、第二卷積神經(jīng)網(wǎng)絡(luò)，所述變分自編碼器包括編碼網(wǎng)絡(luò)和解碼網(wǎng)絡(luò)，所述基于所述樣本運(yùn)動姿態(tài)特征對所述變分自編碼器進(jìn)行訓(xùn)練，得到所述異常識別模型，包括：

將所述樣本運(yùn)動姿態(tài)特征輸入第一卷積神經(jīng)網(wǎng)絡(luò)，由所述第一卷積神經(jīng)網(wǎng)絡(luò)處理后輸入編碼網(wǎng)絡(luò)，得到隱變量；

將所述隱變量輸入所述解碼網(wǎng)絡(luò)，由所述解碼網(wǎng)絡(luò)處理后輸入第二卷積神經(jīng)網(wǎng)絡(luò)，得到重構(gòu)運(yùn)動姿態(tài)特征以及似然值，所述似然值表示所述重構(gòu)運(yùn)動姿態(tài)特征與輸入的所述樣本運(yùn)動姿態(tài)特征的差異；

調(diào)整所述第一卷積神經(jīng)網(wǎng)絡(luò)、編碼網(wǎng)絡(luò)、解碼網(wǎng)絡(luò)、第二卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)，直到所述似然值滿足預(yù)設(shè)條件時，得到所述異常識別模型。

6.根據(jù)權(quán)利要求1-5任一項所述的方法，其特征在于，所述根據(jù)所述似然值，確定所述視頻片段中的目標(biāo)動作是否為異常動作，包括：

確定所述似然值與預(yù)設(shè)似然值的大小關(guān)系；

若所述似然值小于所述預(yù)設(shè)似然值，確定所述視頻片段中的目標(biāo)動作為異常動作；

若所述似然值大于或等于所述預(yù)設(shè)似然值，確定所述視頻片段中的目標(biāo)動作為標(biāo)準(zhǔn)動作。

7.一種異常動作確定裝置，其特征在于，所述裝置包括：

獲取模塊，用于獲取與目標(biāo)動作對應(yīng)的目標(biāo)視頻片段；

構(gòu)建模塊，用于獲取所述目標(biāo)視頻片段中每幀圖像對應(yīng)的人體骨骼關(guān)鍵點，并基于每幀圖像對應(yīng)的所述人體骨骼關(guān)鍵點，獲取與所述目標(biāo)視頻片段對應(yīng)的運(yùn)動姿態(tài)特征，所述運(yùn)動姿態(tài)特征表示在所述目標(biāo)視頻片段中人體姿勢的變化模式；

識別模塊，用于將所述運(yùn)動姿態(tài)特征輸入異常識別模型中，得到與所述運(yùn)動姿態(tài)特征對應(yīng)的似然值，所述異常識別模型為預(yù)先訓(xùn)練好的變分自編碼器以及卷積神經(jīng)網(wǎng)絡(luò)；

確定模塊，用于根據(jù)所述似然值，確定所述視頻片段中的目標(biāo)動作是否為異常動作。