[發(fā)明專利]動(dòng)作識(shí)別、姿勢估計(jì)的方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201710955087.1
• 申請(qǐng)日: 2017-10-13
• 公開（公告）號(hào): CN109670380B
• 公開（公告）日: 2022-12-27
• 發(fā)明（設(shè)計(jì)）人: 喬宇;杜文斌;王亞立;江立輝;劉健莊
• 申請(qǐng)（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號(hào): G06V40/20
• 分類號(hào): G06V40/20;G06V20/40;G06V20/59;G06T7/246
• 代理公司: 北京龍雙利達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 11329
• 代理人: 張振;張欣

1.一種動(dòng)作識(shí)別方法，其特征在于，包括：

確定待處理視頻，所述待處理視頻為包含人體圖像的視頻；

根據(jù)所述待處理視頻確定待處理圖像，所述待處理圖像為下列圖像中的至少一種：第一圖像，根據(jù)所述待處理視頻中的多幀圖像生成的光流圖像，其中，所述第一圖像為所述待處理視頻中的任意一幀圖像，或者，所述第一圖像為所述待處理視頻中的多幀圖像合成的圖像；

對(duì)所述待處理圖像進(jìn)行卷積處理，得到多個(gè)特征向量，其中，所述多個(gè)特征向量分別用于表示所述待處理圖像不同位置的特征；

根據(jù)所述多個(gè)特征向量確定人體的人體關(guān)節(jié)的權(quán)重系數(shù)集合，其中，所述人體關(guān)節(jié)的權(quán)重系數(shù)集合包括所述多個(gè)特征向量中的每個(gè)特征向量在所述人體關(guān)節(jié)的權(quán)重系數(shù)，第一類特征向量的權(quán)重系數(shù)大于或者等于第二類特征向量的權(quán)重系數(shù)，所述第一類特征向量對(duì)應(yīng)在所述待處理圖像中的位置和所述人體關(guān)節(jié)對(duì)應(yīng)在所述待處理圖像中的位置之間的距離為第一距離，所述第二類特征向量對(duì)應(yīng)在所述待處理圖像中的位置和所述人體關(guān)節(jié)對(duì)應(yīng)在所述待處理圖像中的位置之間的距離為第二距離，所述第一距離小于或者等于所述第二距離，所述人體關(guān)節(jié)的數(shù)量為多個(gè)，每個(gè)人體關(guān)節(jié)均對(duì)應(yīng)一個(gè)權(quán)重系數(shù)集合；

根據(jù)所述人體關(guān)節(jié)的權(quán)重系數(shù)集合對(duì)所述多個(gè)特征向量進(jìn)行加權(quán)處理，得到所述人體關(guān)節(jié)的動(dòng)作特征；

根據(jù)所述人體關(guān)節(jié)的動(dòng)作特征確定所述人體的動(dòng)作特征；

根據(jù)所述人體的動(dòng)作特征，確定所述人體的動(dòng)作類型。

2.如權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述多個(gè)特征向量確定所述人體的人體關(guān)節(jié)的權(quán)重系數(shù)集合，包括：

根據(jù)所述多個(gè)特征向量以及所述人體的累計(jì)動(dòng)作信息，確定所述人體關(guān)節(jié)的權(quán)重系數(shù)集合，其中，所述人體的累計(jì)動(dòng)作信息用于指示當(dāng)前時(shí)刻之前累計(jì)的所述人體的動(dòng)作特征。

3.如權(quán)利要求1或2所述的方法，其特征在于，所述根據(jù)所述人體關(guān)節(jié)的動(dòng)作特征確定所述人體的動(dòng)作特征，包括：

對(duì)所述人體關(guān)節(jié)的動(dòng)作特征進(jìn)行加權(quán)或者組合，得到所述人體的動(dòng)作特征。

4.如權(quán)利要求1或2所述的方法，其特征在于，所述根據(jù)所述人體關(guān)節(jié)的動(dòng)作特征確定所述人體的動(dòng)作特征，包括：

對(duì)所述人體關(guān)節(jié)的動(dòng)作特征進(jìn)行加權(quán)或者組合，得到人體部分的動(dòng)作特征，其中，所述人體包含多個(gè)所述人體部分，每個(gè)人體部分包含至少一個(gè)人體關(guān)節(jié)；

對(duì)所述人體部分的動(dòng)作特征進(jìn)行加權(quán)或者組合，得到所述人體的動(dòng)作特征。

5.如權(quán)利要求1或2所述的方法，其特征在于，所述待處理圖像包括所述第一圖像和所述光流圖像，所述對(duì)所述待處理圖像進(jìn)行卷積處理，得到多個(gè)特征向量，包括：

對(duì)所述第一圖像進(jìn)行卷積處理，得到所述第一圖像的多個(gè)特征向量；

對(duì)所述光流圖像進(jìn)行卷積處理，得到所述光流圖像的多個(gè)特征向量；

所述根據(jù)所述多個(gè)特征向量確定所述人體的人體關(guān)節(jié)的權(quán)重系數(shù)集合，包括：

根據(jù)所述第一圖像的多個(gè)特征向量分別確定所述人體關(guān)節(jié)的第一類權(quán)重系數(shù)集合；

根據(jù)所述光流圖像的多個(gè)特征向量確定所述人體關(guān)節(jié)的第二類權(quán)重系數(shù)集合；

所述根據(jù)所述人體關(guān)節(jié)的權(quán)重系數(shù)集合對(duì)所述多個(gè)特征向量進(jìn)行加權(quán)處理，得到所述人體關(guān)節(jié)的動(dòng)作特征，包括：

根據(jù)所述第一類權(quán)重系數(shù)集合對(duì)所述第一圖像的多個(gè)特征向量進(jìn)行加權(quán)處理，得到所述人體關(guān)節(jié)的第一類動(dòng)作特征；

根據(jù)所述第二類權(quán)重系數(shù)集合對(duì)所述光流圖像的多個(gè)特征向量進(jìn)行加權(quán)處理，得到所述人體關(guān)節(jié)的第二類動(dòng)作特征；

所述根據(jù)所述人體關(guān)節(jié)的動(dòng)作特征確定所述人體的動(dòng)作特征，包括：

對(duì)所述人體關(guān)節(jié)的第一類動(dòng)作特征和所述人體關(guān)節(jié)的第二類動(dòng)作特征進(jìn)行加權(quán)或組合，得到所述人體的動(dòng)作特征。