[發(fā)明專利]動作識別方法、裝置、設(shè)備及可讀存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 201811629085.4
• 申請日: 2018-12-28
• 公開（公告）號: CN111382624B
• 公開（公告）日: 2023-08-11
• 發(fā)明（設(shè)計(jì)）人: 呂瑞
• 申請（專利權(quán)）人: 杭州海康威視數(shù)字技術(shù)股份有限公司
• 主分類號: G06V40/20
• 分類號: G06V40/20
• 代理公司: 北京三高永信知識產(chǎn)權(quán)代理有限責(zé)任公司 11138
• 代理人: 韓東艷

本發(fā)明公開了一種動作識別方法、裝置、設(shè)備及可讀存儲介質(zhì)，屬于人工智能技術(shù)領(lǐng)域。包括：獲取多幀圖像，檢測多幀圖像包含的對象的關(guān)鍵點(diǎn)信息；獲取多幀圖像包含的對象中的目標(biāo)對象的關(guān)鍵點(diǎn)信息；根據(jù)目標(biāo)對象的關(guān)鍵點(diǎn)信息，生成目標(biāo)對象的關(guān)鍵點(diǎn)時序圖；基于關(guān)鍵點(diǎn)時序圖對包含目標(biāo)對象的每幀目標(biāo)圖像進(jìn)行動作分類和進(jìn)程回歸，得到每幀目標(biāo)圖像的動作分類結(jié)果和動作進(jìn)程結(jié)果；根據(jù)每幀目標(biāo)圖像的動作分類結(jié)果和動作進(jìn)程結(jié)果輸出目標(biāo)對象的動作識別結(jié)果。本發(fā)明可適用于通過單目相機(jī)采集的圖像，成本較低。可自動檢測目標(biāo)的揮手、握手等動態(tài)手勢，準(zhǔn)確性和效率均較高。在人機(jī)交互時，可輔助機(jī)器人自動識別人體手勢，為作出相應(yīng)響應(yīng)提供觸發(fā)信號。

技術(shù)領(lǐng)域

本發(fā)明涉及人工智能技術(shù)領(lǐng)域，特別涉及一種動作識別方法、裝置、設(shè)備及可讀存儲介質(zhì)。

背景技術(shù)

隨著人工智能技術(shù)的發(fā)展，各種新興的交互方式正逐漸代替?zhèn)鹘y(tǒng)的輸入設(shè)備，并在人機(jī)交互領(lǐng)域得到了廣泛的應(yīng)用。基于動作識別的人機(jī)交互方式，可以讓用戶擺脫傳統(tǒng)便攜式硬件的束縛，直接通過動作與機(jī)器人進(jìn)行交互，實(shí)現(xiàn)更為自然、便捷的交互體驗(yàn)。

目前，相關(guān)技術(shù)提供了一種通過手勢識別裝置進(jìn)行手勢識別的方法，該手勢識別裝置偵測對象的形狀及運(yùn)動軌跡，當(dāng)手勢識別裝置判斷手勢識別裝置中的線材模組裝置纏繞于使用者的手上時，手勢識別裝置進(jìn)入手勢識別模式，根據(jù)手勢數(shù)據(jù)查找表以確定當(dāng)前使用者的手勢。

然而，采用手勢識別裝置進(jìn)行手勢識別時，需要在手部攜帶線材模組裝置，便攜性差，識別準(zhǔn)確率依賴預(yù)存手勢數(shù)據(jù)查找表，漏檢率和誤檢率高。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供了一種動作識別方法、裝置、設(shè)備及可讀存儲介質(zhì)，以解決相關(guān)技術(shù)中的問題。所述技術(shù)方案如下：

一方面，提供了一種動作識別方法，所述方法包括：

獲取多幀圖像，檢測所述多幀圖像包含的對象的關(guān)鍵點(diǎn)信息；

獲取所述多幀圖像包含的對象中的目標(biāo)對象的關(guān)鍵點(diǎn)信息；

根據(jù)所述目標(biāo)對象的關(guān)鍵點(diǎn)信息，生成所述目標(biāo)對象的關(guān)鍵點(diǎn)時序圖；

基于所述關(guān)鍵點(diǎn)時序圖對包含所述目標(biāo)對象的每幀目標(biāo)圖像進(jìn)行動作分類和進(jìn)程回歸，得到每幀目標(biāo)圖像的動作分類結(jié)果和動作進(jìn)程結(jié)果；

根據(jù)所述每幀目標(biāo)圖像的動作分類結(jié)果和動作進(jìn)程結(jié)果輸出所述目標(biāo)對象的動作識別結(jié)果。

可選地，所述檢測所述多幀圖像包含的對象的關(guān)鍵點(diǎn)信息，包括：

獲取關(guān)鍵點(diǎn)識別模型，采用所述關(guān)鍵點(diǎn)識別模型對所述多幀圖像包含的對象的關(guān)鍵點(diǎn)進(jìn)行識別，得到所述多幀圖像包含的對象的關(guān)鍵點(diǎn)信息。

可選地，所述方法還包括：

對每幀圖像進(jìn)行尺寸調(diào)整；

采用所述關(guān)鍵點(diǎn)識別模型對所述多幀圖像包含的對象的關(guān)鍵點(diǎn)進(jìn)行識別，包括：

采用所述關(guān)鍵點(diǎn)識別模型對尺寸調(diào)整后的多幀圖像包含的對象的關(guān)鍵點(diǎn)進(jìn)行識別。

可選地，所述獲取所述多幀圖像包含的對象中的目標(biāo)對象的關(guān)鍵點(diǎn)信息，包括：

根據(jù)所述多幀圖像包含的對象的關(guān)鍵點(diǎn)信息確定每個對象的外接矩形框；

根據(jù)每個對象的外接矩形框?qū)δ繕?biāo)對象進(jìn)行跟蹤匹配，基于跟蹤匹配結(jié)果得到所述目標(biāo)對象的關(guān)鍵點(diǎn)信息。

可選地，所述根據(jù)所述目標(biāo)對象的關(guān)鍵點(diǎn)信息，生成所述目標(biāo)對象的關(guān)鍵點(diǎn)時序圖，包括：

對所述目標(biāo)對象的關(guān)鍵點(diǎn)信息按照時序進(jìn)行累計(jì)，得到所述目標(biāo)對象的關(guān)鍵點(diǎn)時序圖，所述關(guān)鍵點(diǎn)時序圖的行數(shù)為包含所述目標(biāo)對象的圖像的幀數(shù)，所述關(guān)鍵點(diǎn)時序圖的列數(shù)為關(guān)鍵點(diǎn)個數(shù)，所述關(guān)鍵點(diǎn)時序圖的通道數(shù)為坐標(biāo)維度。