[發(fā)明專利]一種基于人體形狀與姿態(tài)估計(jì)的動(dòng)作相似度評(píng)價(jià)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010946255.2
• 申請(qǐng)日: 2020-09-10
• 公開（公告）號(hào): CN112085105A
• 公開（公告）日: 2020-12-15
• 發(fā)明（設(shè)計(jì)）人: 劉豐凱;張文;張海波;楊躒;許楠
• 申請(qǐng)（專利權(quán)）人: 上海龐勃特科技有限公司
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62
• 代理公司: 北京科石知識(shí)產(chǎn)權(quán)代理有限公司 11595
• 代理人: 李艷霞

1.一種基于人體形狀與姿態(tài)估計(jì)的動(dòng)作相似度評(píng)價(jià)方法，包括以下步驟：

采用人體形狀與姿態(tài)估計(jì)模型，分別從待評(píng)價(jià)視頻和標(biāo)準(zhǔn)動(dòng)作視頻中逐幀估計(jì)各自的人體形狀參數(shù)序列和姿態(tài)參數(shù)序列，得到其形狀與姿態(tài)特征值序列；

利用所述人體形狀參數(shù)序列與姿態(tài)參數(shù)序列，生成3D蒙皮人體模型，然后根據(jù)蒙皮生成真實(shí)人體的關(guān)節(jié)點(diǎn)坐標(biāo)；

根據(jù)所述形狀與姿態(tài)特征值序列，得到待評(píng)價(jià)視頻和標(biāo)準(zhǔn)動(dòng)作視頻之間的人體形狀與姿態(tài)差異性序列；

根據(jù)各幀的所述人體關(guān)節(jié)點(diǎn)坐標(biāo)，得到待評(píng)價(jià)視頻和標(biāo)準(zhǔn)動(dòng)作視頻之間的關(guān)節(jié)位置變化差異性序列和關(guān)節(jié)速度變化差異性序列；

根據(jù)所述人體形狀與姿態(tài)差異性序列，關(guān)節(jié)位置變化差異性序列和關(guān)節(jié)速度變化差異性序列，對(duì)待評(píng)價(jià)視頻與標(biāo)準(zhǔn)動(dòng)作視頻之間的動(dòng)作相似性進(jìn)行度量。

2.根據(jù)權(quán)利要求1所述的動(dòng)作相似度評(píng)價(jià)方法，其特征在于，還包括視頻數(shù)據(jù)預(yù)處理的步驟，包括：

對(duì)待評(píng)價(jià)視頻和/或標(biāo)準(zhǔn)動(dòng)作視頻的起止點(diǎn)進(jìn)行裁剪；以及

將待評(píng)價(jià)視頻與標(biāo)準(zhǔn)動(dòng)作視頻的幀數(shù)對(duì)齊。

3.根據(jù)權(quán)利要求2所述的動(dòng)作相似度評(píng)價(jià)方法，其特征在于，所述視頻數(shù)據(jù)預(yù)處理的步驟，還包括：

識(shí)別并畫出視頻中人的位置識(shí)別框，僅保留所述識(shí)別框內(nèi)的視頻圖像用于動(dòng)作相似度評(píng)價(jià)。

4.根據(jù)權(quán)利要求1所述的動(dòng)作相似度評(píng)價(jià)方法，其特征在于，所述人體形狀參數(shù)序列和姿態(tài)參數(shù)序列，采用基于SMPL的形狀參數(shù)和姿態(tài)參數(shù)模型。

5.根據(jù)權(quán)利要求1所述的動(dòng)作相似度評(píng)價(jià)方法，其特征在于，采用人體形狀與姿態(tài)估計(jì)模型，分別從待評(píng)價(jià)視頻和標(biāo)準(zhǔn)動(dòng)作視頻中逐幀估計(jì)各自的人體形狀參數(shù)序列和姿態(tài)參數(shù)序列，得到各自人體形狀與姿態(tài)特征值序列的步驟包括；

將待評(píng)價(jià)視頻圖像和標(biāo)準(zhǔn)動(dòng)作視頻圖像，分別送入訓(xùn)練好的人體形狀與姿態(tài)估計(jì)模型，逐幀估計(jì)各自的人體形狀參數(shù)序列Sⁱ和姿態(tài)參數(shù)序列Pⁱ，其中i表示第i幀；

分別構(gòu)建各自的人體參數(shù)化模型[Sⁱ,Pⁱ]；

對(duì)所述人體參數(shù)化模型進(jìn)行降維處理，得到各自的人體形狀與姿態(tài)特征值序列Fⁱ。

6.根據(jù)權(quán)利要求5所述的動(dòng)作相似度評(píng)價(jià)方法，其特征在于，所述待評(píng)價(jià)視頻和標(biāo)準(zhǔn)動(dòng)作視頻之間的人體形狀與姿態(tài)差異性序列表示為：

M＝{m₁,m₂,m₃,...,m_N}，

其中，為待評(píng)價(jià)視頻第i幀的人體形狀與姿態(tài)特征值，為標(biāo)準(zhǔn)動(dòng)作視頻第i幀的人體形狀與姿態(tài)特征值，ρ函數(shù)為皮爾遜相關(guān)系數(shù)，N表示每種視頻的總幀數(shù)。

7.根據(jù)權(quán)利要求1所述的動(dòng)作相似度評(píng)價(jià)方法，其特征在于，所述待評(píng)價(jià)視頻和標(biāo)準(zhǔn)動(dòng)作視頻之間的關(guān)節(jié)位置變化差異性序列表示為：

D＝{d₁,d₂,d₃,...,d_N}，

其中，i表示第i幀，N表示每種視頻的總幀數(shù)，C_kin表示待評(píng)價(jià)視頻的第k個(gè)關(guān)節(jié)相對(duì)于軀干坐標(biāo)的變化值，C_ks表示標(biāo)準(zhǔn)動(dòng)作視頻的第k個(gè)關(guān)節(jié)相對(duì)于軀干坐標(biāo)的變化值，K表示關(guān)節(jié)總數(shù)，關(guān)節(jié)ρ函數(shù)為皮爾遜相關(guān)系數(shù)。

8.根據(jù)權(quán)利要求1所述的動(dòng)作相似度評(píng)價(jià)方法，其特征在于，所述待評(píng)價(jià)視頻和標(biāo)準(zhǔn)動(dòng)作視頻之間的關(guān)節(jié)速度變化差異性序列表示為：

CS＝{cs₁,cs₂,cs₃,...,cs_N-1}，

其中，i表示第i幀，N表示每種視頻的總幀數(shù)，k表示第k個(gè)關(guān)節(jié)，K表示關(guān)節(jié)總數(shù)，為待評(píng)價(jià)視頻的關(guān)節(jié)坐標(biāo)變化速度，為標(biāo)準(zhǔn)動(dòng)作視頻的關(guān)節(jié)坐標(biāo)變化速度，所述關(guān)節(jié)坐標(biāo)變化速度由該關(guān)節(jié)在第i幀的坐標(biāo)減去第i-1幀的坐標(biāo)得到。