[發(fā)明專(zhuān)利]一種基于定位分類(lèi)回歸網(wǎng)絡(luò)的多人物姿勢(shì)檢測(cè)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201810313810.0
• 申請(qǐng)日: 2018-04-10
• 公開(kāi)（公告）號(hào): CN108564022A
• 公開(kāi)（公告）日: 2018-09-21
• 發(fā)明（設(shè)計(jì)）人: 夏春秋
• 申請(qǐng)（專(zhuān)利權(quán)）人: 深圳市唯特視科技有限公司
• 主分類(lèi)號(hào): G06K9/00
• 分類(lèi)號(hào): G06K9/00;G06K9/62
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

本發(fā)明中提出的一種基于定位分類(lèi)回歸網(wǎng)絡(luò)的多人物姿勢(shì)檢測(cè)方法，其主要內(nèi)容包括：定位、分類(lèi)、回歸和迭代估計(jì)，其過(guò)程為，先通過(guò)在候選框中定位K個(gè)假設(shè)姿勢(shì)類(lèi)別的集合(表示為錨點(diǎn)姿勢(shì))來(lái)獲得姿勢(shì)建議，然后使用分類(lèi)器對(duì)每個(gè)姿勢(shì)建議進(jìn)行評(píng)分，并針對(duì)每個(gè)定位單獨(dú)地進(jìn)行回歸，通過(guò)計(jì)算錨點(diǎn)姿勢(shì)特定回歸，估計(jì)真實(shí)人體姿勢(shì)和姿勢(shì)建議之間的差異，最后通過(guò)對(duì)相鄰姿態(tài)假設(shè)進(jìn)行積分獲得姿態(tài)估計(jì)。本發(fā)明通過(guò)對(duì)相鄰的姿勢(shì)假設(shè)進(jìn)行積分來(lái)獲得最終的姿勢(shì)估計(jì)，提高了二維和三維姿勢(shì)估計(jì)的性能，使檢測(cè)結(jié)果更加準(zhǔn)確可靠。

技術(shù)領(lǐng)域

本發(fā)明涉及姿勢(shì)檢測(cè)領(lǐng)域，尤其是涉及了一種基于定位分類(lèi)回歸網(wǎng)絡(luò)的多人物姿勢(shì)檢測(cè)方法。

背景技術(shù)

人類(lèi)姿勢(shì)的識(shí)別和檢測(cè)是機(jī)器視覺(jué)領(lǐng)域的一大研究熱點(diǎn)，被廣泛應(yīng)用在人機(jī)交互、行為分析、多媒體應(yīng)用和運(yùn)動(dòng)科學(xué)等領(lǐng)域。近年來(lái)，隨著數(shù)碼相機(jī)、智能手機(jī)、監(jiān)控?cái)z像頭等的普及，數(shù)字相片和視頻數(shù)據(jù)急劇增長(zhǎng)，其中人類(lèi)活動(dòng)是這些數(shù)據(jù)中獲得的最主要內(nèi)容。有效處理和理解數(shù)據(jù)中的人類(lèi)活動(dòng)，將對(duì)人們的研究和記錄等帶來(lái)極大的方便。人類(lèi)姿勢(shì)的識(shí)別和檢測(cè)可以通過(guò)結(jié)合語(yǔ)音輸入和麥克風(fēng)輸入實(shí)現(xiàn)人機(jī)交互，增強(qiáng)玩家的游戲體驗(yàn)。通過(guò)對(duì)監(jiān)控視頻中的人物畫(huà)面進(jìn)行姿勢(shì)檢測(cè)，可以協(xié)助安保人員檢測(cè)人員密集的公共場(chǎng)所中出現(xiàn)的危險(xiǎn)行為、盜竊行為等，有效維護(hù)公共場(chǎng)所的安全和秩序。對(duì)于運(yùn)動(dòng)員和舞者，可以通過(guò)姿勢(shì)檢測(cè)技術(shù)記錄相應(yīng)姿勢(shì)，通過(guò)大量數(shù)據(jù)記錄和分析，總結(jié)出更具有針對(duì)性訓(xùn)練方法。然而現(xiàn)有方法仍然存在由于人物被圖像邊界部分遮擋、人與人之間互相遮擋而不能準(zhǔn)確識(shí)別和檢測(cè)的問(wèn)題。

本發(fā)明提出了一種基于定位分類(lèi)回歸網(wǎng)絡(luò)的多人物姿勢(shì)檢測(cè)方法，先通過(guò)在候選框中定位K個(gè)假設(shè)姿勢(shì)類(lèi)別的集合(表示為錨點(diǎn)姿勢(shì))來(lái)獲得姿勢(shì)建議，然后使用分類(lèi)器對(duì)每個(gè)姿勢(shì)建議進(jìn)行評(píng)分，并針對(duì)每個(gè)定位單獨(dú)地進(jìn)行回歸，通過(guò)計(jì)算錨點(diǎn)姿勢(shì)特定回歸，估計(jì)真實(shí)人體姿勢(shì)和姿勢(shì)建議之間的差異，最后通過(guò)對(duì)相鄰姿態(tài)假設(shè)進(jìn)行積分獲得姿態(tài)估計(jì)。本發(fā)明通過(guò)對(duì)相鄰的姿勢(shì)假設(shè)進(jìn)行積分來(lái)獲得最終的姿勢(shì)估計(jì)，提高了二維和三維姿勢(shì)估計(jì)的性能，使檢測(cè)結(jié)果更加準(zhǔn)確可靠。

發(fā)明內(nèi)容

針對(duì)由于人物被圖像邊界部分遮擋、人與人之間互相遮擋而不能準(zhǔn)確識(shí)別和檢測(cè)的問(wèn)題，本發(fā)明的目的在于提供一種基于定位分類(lèi)回歸網(wǎng)絡(luò)的多人物姿勢(shì)檢測(cè)方法，先通過(guò)在候選框中定位K個(gè)假設(shè)姿勢(shì)類(lèi)別的集合(表示為錨點(diǎn)姿勢(shì))來(lái)獲得姿勢(shì)建議，然后使用分類(lèi)器對(duì)每個(gè)姿勢(shì)建議進(jìn)行評(píng)分，并針對(duì)每個(gè)定位單獨(dú)地進(jìn)行回歸，通過(guò)計(jì)算錨點(diǎn)姿勢(shì)特定回歸，估計(jì)真實(shí)人體姿勢(shì)和姿勢(shì)建議之間的差異，最后通過(guò)對(duì)相鄰姿態(tài)假設(shè)進(jìn)行積分獲得姿態(tài)估計(jì)。

為解決上述問(wèn)題，本發(fā)明提供一種基于定位分類(lèi)回歸網(wǎng)絡(luò)的多人物姿勢(shì)檢測(cè)方法，其主要內(nèi)容包括：

(一)定位；

(二)分類(lèi)；

(三)回歸；

(四)迭代估計(jì)。

其中，所述的定位分類(lèi)回歸網(wǎng)絡(luò)，人的姿勢(shì)(p,P)被定義為2D姿勢(shì)p(即圖像中每個(gè)關(guān)節(jié)的像素坐標(biāo))和3D姿勢(shì)P(即每個(gè)關(guān)節(jié)相對(duì)于身體中心的3D位置，以米為單位)；考慮13個(gè)關(guān)節(jié)的姿勢(shì)，假設(shè)給定一組固定的K個(gè)2D-3D錨點(diǎn)姿勢(shì)，用{(a_k,A_k)}_k＝1..K表示；在本方法中，它們是通過(guò)對(duì)大量姿態(tài)進(jìn)行聚類(lèi)，并將每個(gè)聚類(lèi)的中心用作錨點(diǎn)姿態(tài)獲得的。

進(jìn)一步地，所述的定位分類(lèi)回歸，給定一幅圖像，首先計(jì)算卷積特征；定位組件，在姿勢(shì)檢測(cè)的上下文中也稱(chēng)為姿態(tài)建議網(wǎng)絡(luò)，輸出姿勢(shì)建議的列表；姿態(tài)建議由一組假設(shè)的錨點(diǎn)姿勢(shì)候選位置組成；接下來(lái)，感興趣區(qū)域(RoI)匯聚層聚合每個(gè)候選區(qū)域內(nèi)的特征；在兩個(gè)全連接層之后，網(wǎng)絡(luò)被分成兩個(gè)部分；分類(lèi)分支估計(jì)每個(gè)位置的錨點(diǎn)姿勢(shì)正確的概率；回歸分支計(jì)算錨點(diǎn)姿勢(shì)特定回歸，估計(jì)真實(shí)人體姿勢(shì)和姿勢(shì)建議之間的差異；損失為以下三項(xiàng)損失的總和：