[發(fā)明專利]動(dòng)作識(shí)別方法、裝置、設(shè)備及可讀存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201811629085.4
• 申請(qǐng)日: 2018-12-28
• 公開(kāi)（公告）號(hào): CN111382624B
• 公開(kāi)（公告）日: 2023-08-11
• 發(fā)明（設(shè)計(jì)）人: 呂瑞
• 申請(qǐng)（專利權(quán)）人: 杭州海康威視數(shù)字技術(shù)股份有限公司
• 主分類號(hào): G06V40/20
• 分類號(hào): G06V40/20
• 代理公司: 北京三高永信知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11138
• 代理人: 韓東艷

1.一種動(dòng)作識(shí)別方法，其特征在于，所述方法包括：

獲取多幀圖像，檢測(cè)所述多幀圖像包含的對(duì)象的關(guān)鍵點(diǎn)信息；

獲取所述多幀圖像包含的對(duì)象中的目標(biāo)對(duì)象的關(guān)鍵點(diǎn)信息；

根據(jù)所述目標(biāo)對(duì)象的關(guān)鍵點(diǎn)信息，生成所述目標(biāo)對(duì)象的關(guān)鍵點(diǎn)時(shí)序圖；

基于所述關(guān)鍵點(diǎn)時(shí)序圖對(duì)包含所述目標(biāo)對(duì)象的每幀目標(biāo)圖像進(jìn)行動(dòng)作分類和進(jìn)程回歸，得到每幀目標(biāo)圖像的動(dòng)作分類結(jié)果和動(dòng)作進(jìn)程結(jié)果；

根據(jù)所述每幀目標(biāo)圖像的動(dòng)作分類結(jié)果和動(dòng)作進(jìn)程結(jié)果輸出所述目標(biāo)對(duì)象的動(dòng)作識(shí)別結(jié)果；

其中，基于所述關(guān)鍵點(diǎn)時(shí)序圖對(duì)包含所述目標(biāo)對(duì)象的每幀目標(biāo)圖像進(jìn)行進(jìn)程回歸，得到每幀目標(biāo)圖像的動(dòng)作進(jìn)程結(jié)果，包括：

對(duì)于所述關(guān)鍵點(diǎn)時(shí)序圖中的每幀目標(biāo)圖像，根據(jù)動(dòng)作開(kāi)始幀的位置T₁、動(dòng)作結(jié)束幀的位置T₂及每幀的位置T₃，按照如下公式確定每幀的動(dòng)作進(jìn)程P₃，得到每幀目標(biāo)圖像的動(dòng)作進(jìn)程結(jié)果：P₃＝(T₃-T₁+1)/(T₂-T₁+1)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述檢測(cè)所述多幀圖像包含的對(duì)象的關(guān)鍵點(diǎn)信息，包括：

獲取關(guān)鍵點(diǎn)識(shí)別模型，采用所述關(guān)鍵點(diǎn)識(shí)別模型對(duì)所述多幀圖像包含的對(duì)象的關(guān)鍵點(diǎn)進(jìn)行識(shí)別，得到所述多幀圖像包含的對(duì)象的關(guān)鍵點(diǎn)信息。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述方法還包括：

對(duì)每幀圖像進(jìn)行尺寸調(diào)整；

所述采用所述關(guān)鍵點(diǎn)識(shí)別模型對(duì)所述多幀圖像包含的對(duì)象的關(guān)鍵點(diǎn)進(jìn)行識(shí)別，包括：

采用所述關(guān)鍵點(diǎn)識(shí)別模型對(duì)尺寸調(diào)整后的多幀圖像包含的對(duì)象的關(guān)鍵點(diǎn)進(jìn)行識(shí)別。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取所述多幀圖像包含的對(duì)象中的目標(biāo)對(duì)象的關(guān)鍵點(diǎn)信息，包括：

根據(jù)所述多幀圖像包含的對(duì)象的關(guān)鍵點(diǎn)信息確定每個(gè)對(duì)象的外接矩形框；

根據(jù)每個(gè)對(duì)象的外接矩形框?qū)δ繕?biāo)對(duì)象進(jìn)行跟蹤匹配，基于跟蹤匹配結(jié)果得到所述目標(biāo)對(duì)象的關(guān)鍵點(diǎn)信息。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述目標(biāo)對(duì)象的關(guān)鍵點(diǎn)信息，生成所述目標(biāo)對(duì)象的關(guān)鍵點(diǎn)時(shí)序圖，包括：

對(duì)所述目標(biāo)對(duì)象的關(guān)鍵點(diǎn)信息按照時(shí)序進(jìn)行累計(jì)，得到所述目標(biāo)對(duì)象的關(guān)鍵點(diǎn)時(shí)序圖，所述關(guān)鍵點(diǎn)時(shí)序圖的行數(shù)為包含所述目標(biāo)對(duì)象的圖像的幀數(shù)，所述關(guān)鍵點(diǎn)時(shí)序圖的列數(shù)為關(guān)鍵點(diǎn)個(gè)數(shù)，所述關(guān)鍵點(diǎn)時(shí)序圖的通道數(shù)為坐標(biāo)維度。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，基于所述關(guān)鍵點(diǎn)時(shí)序圖對(duì)包含所述目標(biāo)對(duì)象的每幀目標(biāo)圖像進(jìn)行動(dòng)作分類，得到每幀目標(biāo)圖像的動(dòng)作分類結(jié)果，包括：

獲取動(dòng)作分類模型，采用所述動(dòng)作分類模型，基于所述關(guān)鍵點(diǎn)時(shí)序圖中包含所述目標(biāo)對(duì)象的每幀目標(biāo)圖像的關(guān)鍵點(diǎn)信息對(duì)每幀目標(biāo)圖像進(jìn)行動(dòng)作分類，得到每幀目標(biāo)圖像的動(dòng)作分類結(jié)果。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述采用所述動(dòng)作分類模型，基于所述關(guān)鍵點(diǎn)時(shí)序圖中包含所述目標(biāo)對(duì)象的每幀目標(biāo)圖像的關(guān)鍵點(diǎn)信息對(duì)每幀目標(biāo)圖像進(jìn)行動(dòng)作分類，得到每幀目標(biāo)圖像的動(dòng)作分類結(jié)果，包括：

采用所述動(dòng)作分類模型提取所述關(guān)鍵點(diǎn)時(shí)序圖中包含所述目標(biāo)對(duì)象的每幀目標(biāo)圖像的骨架數(shù)據(jù)，根據(jù)每幀目標(biāo)圖像的骨架數(shù)據(jù)獲取每幀目標(biāo)圖像的骨架運(yùn)動(dòng)數(shù)據(jù)；

提取所述骨架運(yùn)動(dòng)數(shù)據(jù)的特征，將提取的特征在通道維度上進(jìn)行拼接，得到拼接后的特征；

基于拼接后的特征對(duì)每幀目標(biāo)圖像進(jìn)行動(dòng)作分類。

8.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述每幀目標(biāo)圖像的動(dòng)作分類結(jié)果和動(dòng)作進(jìn)程結(jié)果輸出所述目標(biāo)對(duì)象的動(dòng)作識(shí)別結(jié)果，包括：

若第一參考數(shù)量幀的目標(biāo)圖像中，動(dòng)作分類結(jié)果和動(dòng)作進(jìn)程結(jié)果均滿足條件，且對(duì)于相同動(dòng)作分類結(jié)果的圖像數(shù)量達(dá)到第二參考數(shù)量幀，則將所述相同的動(dòng)作分類結(jié)果對(duì)應(yīng)的動(dòng)作作為識(shí)別結(jié)果進(jìn)行輸出。