[發(fā)明專利]一種基于人體形狀與姿態(tài)估計(jì)的動(dòng)作相似度評(píng)價(jià)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010946255.2
• 申請(qǐng)日: 2020-09-10
• 公開(kāi)（公告）號(hào): CN112085105A
• 公開(kāi)（公告）日: 2020-12-15
• 發(fā)明（設(shè)計(jì)）人: 劉豐凱;張文;張海波;楊躒;許楠
• 申請(qǐng)（專利權(quán)）人: 上海龐勃特科技有限公司
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62
• 代理公司: 北京科石知識(shí)產(chǎn)權(quán)代理有限公司 11595
• 代理人: 李艷霞

一種基于人體形狀與姿態(tài)估計(jì)的動(dòng)作相似度評(píng)價(jià)方法，使用人體形狀估計(jì)參數(shù)與姿態(tài)估計(jì)參數(shù)更準(zhǔn)確的描述動(dòng)態(tài)的人體模型，進(jìn)而使用人體3D蒙皮結(jié)構(gòu)提取真實(shí)的人體骨骼坐標(biāo)位置，代替?zhèn)鹘y(tǒng)的人體表面骨骼點(diǎn)提取方法；基于這些人體形狀參數(shù)、姿態(tài)參數(shù)以及真實(shí)人體骨骼坐標(biāo)位置，構(gòu)造出對(duì)人體動(dòng)作對(duì)比敏感的特征指標(biāo)，實(shí)現(xiàn)準(zhǔn)確、智能的動(dòng)作相似度對(duì)比評(píng)估方法。該方法對(duì)人體形狀、姿態(tài)、真實(shí)骨骼的提取，以及動(dòng)作相似度的評(píng)價(jià)更加準(zhǔn)確。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺(jué)領(lǐng)域，特別涉及一種人體動(dòng)作相似度評(píng)價(jià)方法。

背景技術(shù)

隨著深度學(xué)習(xí)技術(shù)和高性能計(jì)算技術(shù)的進(jìn)步，實(shí)時(shí)視頻的人體姿態(tài)評(píng)估、行為理解已經(jīng)成為了目前計(jì)算機(jī)視覺(jué)領(lǐng)域的研究熱點(diǎn)。一些研究成果已經(jīng)成功的應(yīng)用到了很多領(lǐng)域中，例如抖音尬舞機(jī)。在體育視頻分析、體育教學(xué)等任務(wù)中，人體動(dòng)作評(píng)估與相似度評(píng)價(jià)方法有著廣泛的應(yīng)用前景。

人體行為是由一組時(shí)序動(dòng)作構(gòu)成，有效的判斷標(biāo)準(zhǔn)動(dòng)作(教練動(dòng)作)與輸入動(dòng)作(學(xué)生動(dòng)作)差距，是衡量這兩個(gè)動(dòng)作相似程度的重要任務(wù)。

目前動(dòng)作相似度評(píng)估方法有以下兩種方法：

(1)采用RGB相機(jī)，使用RGB圖像，提取二維骨骼信息，然后設(shè)計(jì)一些簡(jiǎn)單的特征指標(biāo)，使用DTW或歐式距離相似度度量。如專利201810394685.0、201910143782.7。

(2)采用RGB-D相機(jī)，使用RGB圖像和深度圖像，提取三維骨骼信息，然后設(shè)計(jì)一些簡(jiǎn)單特征指標(biāo)，使用DTW或歐式距離相似度度量。如專利201310529096.6、201910338737.7。

根據(jù)上述的這些方法可以將人體動(dòng)作相似度評(píng)價(jià)過(guò)程簡(jiǎn)述如下：通過(guò)一種方法提取人體骨骼，然后手動(dòng)設(shè)計(jì)一些簡(jiǎn)易的差異性特征，然后采用度量的方式比較這些差異性特征，給出相似度評(píng)價(jià)。

上述第(1)類方法中只采用了二維骨骼信息，二維骨骼信息無(wú)法反映真實(shí)的物理量，如關(guān)節(jié)的空間角度等重要的真實(shí)信息。另外，二維骨骼信息會(huì)因?yàn)殛P(guān)節(jié)遮擋的問(wèn)題導(dǎo)致關(guān)節(jié)丟失或測(cè)不到，當(dāng)缺失了重要骨骼點(diǎn)，則動(dòng)作評(píng)價(jià)就會(huì)不準(zhǔn)確。

第(2)類方法中采用了三維骨骼信息，深度的信息來(lái)自于深度圖像，當(dāng)關(guān)節(jié)被遮擋時(shí)，會(huì)導(dǎo)致深度圖像的深度距離會(huì)誤測(cè)，提取的三維骨骼信息會(huì)有極大的誤差。例如當(dāng)手在肢體的后方，這時(shí)會(huì)測(cè)量到肚子的距離，而不是手的距離，這樣就會(huì)產(chǎn)生一個(gè)身體厚度的誤差。另外，深度相機(jī)測(cè)量的深度距離只能測(cè)量到表皮的距離，沒(méi)法測(cè)量真實(shí)關(guān)節(jié)點(diǎn)的位置，這樣也會(huì)產(chǎn)生很大的誤差。

發(fā)明內(nèi)容

本公開(kāi)提供一種基于人體形狀與姿態(tài)估計(jì)的動(dòng)作相似度評(píng)價(jià)方法，其能夠避免傳統(tǒng)人體骨骼點(diǎn)模型對(duì)人體骨骼空間位置的測(cè)量誤差、以及因關(guān)節(jié)受遮擋而導(dǎo)致的關(guān)節(jié)點(diǎn)缺失問(wèn)題，實(shí)現(xiàn)對(duì)人體動(dòng)態(tài)更準(zhǔn)確的描述，進(jìn)而實(shí)現(xiàn)動(dòng)作相似度的對(duì)比評(píng)估。

本公開(kāi)提供的基于人體形狀與姿態(tài)估計(jì)的動(dòng)作相似度評(píng)價(jià)方法，包括以下步驟：

采用人體形狀與姿態(tài)估計(jì)模型，分別從待評(píng)價(jià)視頻和標(biāo)準(zhǔn)動(dòng)作視頻中逐幀估計(jì)各自的人體形狀參數(shù)序列和姿態(tài)參數(shù)序列，得到其形狀與姿態(tài)特征值序列；

利用所述人體形狀參數(shù)序列與姿態(tài)參數(shù)序列，生成3D蒙皮人體模型，然后根據(jù)蒙皮生成真實(shí)人體的關(guān)節(jié)點(diǎn)坐標(biāo)；

根據(jù)所述形狀與姿態(tài)特征值序列，得到待評(píng)價(jià)視頻和標(biāo)準(zhǔn)動(dòng)作視頻之間的人體形狀與姿態(tài)差異性序列；

根據(jù)各幀的所述人體關(guān)節(jié)點(diǎn)坐標(biāo)，得到待評(píng)價(jià)視頻和標(biāo)準(zhǔn)動(dòng)作視頻之間的關(guān)節(jié)位置變化差異性序列和關(guān)節(jié)速度變化差異性序列；

根據(jù)所述人體形狀與姿態(tài)差異性序列，關(guān)節(jié)位置變化差異性序列和關(guān)節(jié)速度變化差異性序列，對(duì)待評(píng)價(jià)視頻與標(biāo)準(zhǔn)動(dòng)作視頻之間的動(dòng)作相似性進(jìn)行度量。

可選的，所述動(dòng)作相似度評(píng)價(jià)方法還包括視頻數(shù)據(jù)預(yù)處理的步驟，包括：