[發(fā)明專利]一種基于人體三維關(guān)節(jié)點(diǎn)檢測(cè)的動(dòng)作評(píng)價(jià)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201911193095.2
• 申請(qǐng)日: 2019-11-28
• 公開(kāi)（公告）號(hào): CN111144217B
• 公開(kāi)（公告）日: 2022-07-01
• 發(fā)明（設(shè)計(jì)）人: 許國(guó)良;李軼瑋;李萬(wàn)林;文韜;雒江濤
• 申請(qǐng)（專利權(quán)）人: 重慶郵電大學(xué)
• 主分類號(hào): G06V40/20
• 分類號(hào): G06V40/20;G06V20/40;G06K9/62
• 代理公司: 北京同恒源知識(shí)產(chǎn)權(quán)代理有限公司 11275
• 代理人: 趙榮之

1.一種基于人體三維關(guān)節(jié)點(diǎn)檢測(cè)的動(dòng)作評(píng)價(jià)方法，其特征在于：包括以下步驟：

S1：人體三維關(guān)節(jié)點(diǎn)檢測(cè)：對(duì)視頻分幀后的單幀圖片進(jìn)行人體三維關(guān)節(jié)點(diǎn)檢測(cè)；

S2：關(guān)鍵幀提取：提取視頻指定幀數(shù)的關(guān)鍵幀，實(shí)現(xiàn)待檢測(cè)視頻與標(biāo)準(zhǔn)視頻的時(shí)間對(duì)齊；

S3：基于關(guān)節(jié)點(diǎn)進(jìn)行特征構(gòu)建與提取：構(gòu)建兩類子特征并提取特征值，包括：

構(gòu)建運(yùn)動(dòng)向量特征：考慮到人體的動(dòng)作姿態(tài)包括頭部運(yùn)動(dòng)、四肢運(yùn)動(dòng)以及胸腰部的運(yùn)動(dòng)，選取能表達(dá)運(yùn)動(dòng)信息的肢體構(gòu)成運(yùn)動(dòng)向量特征；

構(gòu)建關(guān)節(jié)動(dòng)能特征：根據(jù)視頻相鄰兩幀中坐標(biāo)的變化幅度計(jì)算每一幀中各個(gè)關(guān)節(jié)點(diǎn)的動(dòng)能；

S4：多特征融合構(gòu)建關(guān)鍵幀動(dòng)作相似度對(duì)比模型：融合步驟S3中的子特征，針對(duì)不同類型動(dòng)作，構(gòu)建個(gè)性化模型；基于余弦相似度構(gòu)造運(yùn)動(dòng)向量特征相似度函數(shù)，基于加權(quán)函數(shù)構(gòu)造關(guān)節(jié)動(dòng)能相似度函數(shù)；基于所述運(yùn)動(dòng)向量特征相似度函數(shù)和關(guān)節(jié)動(dòng)能相似度函數(shù)得到關(guān)鍵幀動(dòng)作相似度對(duì)比模型，將待檢測(cè)動(dòng)作與標(biāo)準(zhǔn)動(dòng)作的關(guān)鍵幀集合進(jìn)行比較，最終得到運(yùn)動(dòng)視頻的動(dòng)作相似度；具體包括以下步驟：

S41：利用步驟S3中提取的特征，融合多特征構(gòu)建關(guān)鍵幀動(dòng)作相似度對(duì)比模型，提出運(yùn)動(dòng)向量特征相似度函數(shù)：

上式表示t幀中待檢測(cè)視頻與標(biāo)準(zhǔn)視頻的運(yùn)動(dòng)向量特征相似度，其中V_i,t為待檢測(cè)視頻的第i個(gè)運(yùn)動(dòng)向量特征值，V′_i,t為標(biāo)準(zhǔn)視頻的第i個(gè)運(yùn)動(dòng)向量特征值，n為運(yùn)動(dòng)向量特征個(gè)數(shù)；

S42：提出關(guān)節(jié)動(dòng)能相似度函數(shù)：

上式表示t幀中待檢測(cè)視頻與標(biāo)準(zhǔn)視頻的關(guān)節(jié)動(dòng)能特征相似度，E_j,t為待檢測(cè)視頻的第j個(gè)運(yùn)動(dòng)向量特征值，E′_j,t為標(biāo)準(zhǔn)視頻的第j個(gè)關(guān)節(jié)動(dòng)能特征值，m為關(guān)節(jié)動(dòng)能特征個(gè)數(shù)，根據(jù)不同的動(dòng)作類型賦予不同的權(quán)重w；

S43：基于所述相似度函數(shù)構(gòu)建關(guān)鍵幀動(dòng)作相似度對(duì)比模型：

d(f_t,f_t')＝SV_t+SE_t

上式表示待檢測(cè)視頻關(guān)鍵幀f_t與標(biāo)準(zhǔn)視頻關(guān)鍵幀f_t'的姿態(tài)相似度；

S44：基于關(guān)鍵幀相似度得到動(dòng)作序列相似度評(píng)價(jià)函數(shù)：

D(X,Y)的值即為待檢測(cè)視頻X與標(biāo)準(zhǔn)視頻Y的動(dòng)作差異距離，值越小表示動(dòng)作越相似，k為關(guān)鍵幀個(gè)數(shù)。

2.根據(jù)權(quán)利要求1所述的基于人體三維關(guān)節(jié)點(diǎn)檢測(cè)的動(dòng)作評(píng)價(jià)方法，其特征在于：所述步驟S1中，使用基于深度學(xué)習(xí)算法的三維關(guān)節(jié)點(diǎn)檢測(cè)網(wǎng)絡(luò)得到視頻中的人體三維關(guān)節(jié)點(diǎn)坐標(biāo)。

3.根據(jù)權(quán)利要求2所述的基于人體三維關(guān)節(jié)點(diǎn)檢測(cè)的動(dòng)作評(píng)價(jià)方法，其特征在于：所述步驟S1中，輸入視頻，利用時(shí)空域卷積算法，從2D關(guān)節(jié)點(diǎn)軌跡中實(shí)現(xiàn)3D人體姿態(tài)估計(jì)，輸出三維的關(guān)節(jié)點(diǎn)坐標(biāo)信息；

所述三維的關(guān)節(jié)點(diǎn)坐標(biāo)信息中，Loc_i,t＝(x,y,z)表示t幀中編號(hào)為i的人體骨骼關(guān)節(jié)點(diǎn)坐標(biāo)位置，包括頭頂，鼻子，頸部，坐肩，右肩，左手肘，右手肘，左手腕，右手腕，腰部，髖中，左髖，右髖，左膝蓋，右膝蓋，左腳踝，右腳踝共17個(gè)骨骼關(guān)節(jié)點(diǎn)。

4.根據(jù)權(quán)利要求1所述的基于人體三維關(guān)節(jié)點(diǎn)檢測(cè)的動(dòng)作評(píng)價(jià)方法，其特征在于：所述步驟S2中，基于聚類算法提取所述關(guān)鍵幀，對(duì)三維關(guān)節(jié)點(diǎn)坐標(biāo)進(jìn)行聚類，選取k個(gè)聚類中心，計(jì)算各幀與聚類中心對(duì)應(yīng)關(guān)節(jié)點(diǎn)坐標(biāo)的距離，選取距離簇類中心最近的幀作為關(guān)鍵幀，共計(jì)k個(gè)關(guān)鍵幀；將關(guān)鍵幀按照時(shí)間索引排序，得到視頻的關(guān)鍵幀集合。