[發明專利]動作識別、姿勢估計的方法及裝置

有效

• 申請號: 201710955087.1
• 申請日: 2017-10-13
• 公開（公告）號: CN109670380B
• 公開（公告）日: 2022-12-27
• 發明（設計）人: 喬宇;杜文斌;王亞立;江立輝;劉健莊
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V20/40;G06V20/59;G06T7/246
• 代理公司: 北京龍雙利達知識產權代理有限公司 11329
• 代理人: 張振;張欣

本申請提供了一種動作識別、姿勢估計的方法及裝置。涉及人工智能領域，具體涉及計算機視覺領域。該動作識別方法包括：確定待處理視頻，所述待處理視頻為包含人體圖像的視頻；根據所述待處理視頻確定待處理圖像；對所述待處理圖像進行卷積處理，得到多個特征向量，其中，所述多個特征向量分別用于表示所述待處理圖像不同位置的特征；根據所述多個特征向量確定所述人體的人體關節的權重系數集合；根據所述人體關節的權重系數集合對所述多個特征向量進行加權處理，得到所述人體關節的動作特征；根據所述人體關節的動作特征確定所述人體的動作特征；根據所述人體的動作特征，確定所述人體的動作類型。本申請能夠提高動作識別的準確率。

技術領域

本申請涉及人工智能領域中的計算機視覺領域，并且更具體地，涉及一種動作識別、姿勢估計的方法及裝置。

背景技術

在很多場景下，需要對視頻中的人體動作進行識別，以確定人體動作的動作類型。例如，在監控系統中，為了感知人的意圖，需要對監控系統獲取的視頻中的人體動作進行識別，在人機交互系統中，為了對人的行為進行理解，需要對人機交互系統獲取的視頻中的人體動作進行識別。

為了實現對視頻中的人體動作的識別，現有方案是從待處理視頻提取出某些幀的圖片，然后采用卷積神經網絡對圖片進行特征提取，接下來再根據從圖片中提取出來的特征向量確定人體的動作屬于每個動作類型的置信度，然后將置信度最大(且置信度大于預設閾值)的動作類型確定為視頻中的人體的動作類型。

現有方案提取的是圖片中的所有區域的特征，這些特征中包含了大量的與動作無關的特征，因此，最終進行動作識別的效果不好。另外，現有方案中還存在直接提取圖片中的部分區域的特征來進行動作識別的方式，但是直接簡單的提取圖像部分區域的特征也可能無法較好地反映人體的動作特征，導致動作識別的準確率仍然較低。

發明內容

本申請提供一種動作識別方法、姿勢估計方法及裝置，能夠提高動作識別的準確率。

第一方面，提供了一種動作識別方法，所述方法包括：確定待處理視頻，所述待處理視頻為包含人體圖像的視頻；根據所述待處理視頻確定待處理圖像，所述待處理圖像為下列圖像中的至少一種：第一圖像，根據所述待處理視頻中的多幀圖像生成的光流圖像，其中，所述第一圖像為所述待處理視頻中的任意一幀圖像，或者，所述第一圖像為所述待處理視頻中的多幀圖像合成的圖像；對所述待處理圖像進行卷積處理，得到多個特征向量，其中，所述多個特征向量分別用于表示所述待處理圖像不同位置的特征；根據所述多個特征向量確定所述人體的人體關節的權重系數集合，其中，所述人體關節的權重系數集合包括所述多個特征向量中的每個特征向量在所述人體關節的權重系數，第一類特征向量的權重系數大于或者等于第二類特征向量的權重系數，所述第一類特征向量對應在所述待處理圖像中的位置和所述人體關節對應在所述待處理圖像中的位置之間的距離為第一距離，所述第二類特征向量對應在所述待處理圖像中的位置和所述人體關節對應在所述待處理圖像中的位置之間的距離為第二距離，所述第一距離小于或者等于所述第二距離，所述人體關節的數量為多個，每個人體關節均對應一個權重系數集合；根據所述人體關節的權重系數集合對所述多個特征向量進行加權處理，得到所述人體關節的動作特征；

根據所述人體關節的動作特征確定所述人體的動作特征；根據所述人體的動作特征，確定所述人體的動作類型。

本申請中，第一類特征向量的權重系數大于或者等于第二類特征向量的權重系數，而第一類特征向量對應在待處理圖像中的位置與人體關節對應在待處理圖像中的位置的距離要小于或者等于第二類特征向量對應在待處理圖像中的位置與人體關節對應在待處理圖像中的位置的距離，因此，在本申請中，離人體關節越近的區域對應的特征向量的權重系數越大，這樣能夠使得待處理圖像中與動作密切相關的特征在動作識別時占有較大的比重，而待處理圖像中與動作不太相關的特征在動作識別時占有較小的比重，本申請在動作識別時充分考慮了待處理圖像不同區域的特征在動作識別中的重要性，能夠得到更加魯棒的動作特征，從而能夠提高動作識別的準確率。