[發(fā)明專利]一種基于級聯(lián)金字塔網絡的多人姿態(tài)估計方法

在審

• 申請?zhí)枺?/td>: 201810132802.6
• 申請日: 2018-02-09
• 公開（公告）號: CN108229445A
• 公開（公告）日: 2018-06-29
• 發(fā)明（設計）人: 夏春秋
• 申請（專利權）人: 深圳市唯特視科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明中提出的一種基于級聯(lián)金字塔網絡的多人姿態(tài)估計方法，其主要內容包括：級聯(lián)金字塔網絡(CPN)、多人姿態(tài)估計、訓練和測試，其過程為，先根據默認的錨點生成邊界框建議，然后根據特征圖進行裁剪，并通過遞歸卷積神經網絡(R?CNN)進一步細化建議，以獲得最終的邊界框，邊界框圈出畫面中的人物，接著用級聯(lián)金字塔網絡在每個人物的邊界框中定位關鍵點，其中全局網絡可以定位簡單的關鍵點，提煉網絡通過整合來自全局網絡所有級別的特征表示來處理難的關鍵點，并僅從選擇的關鍵點反向傳播損失。本發(fā)明將自上向下的方法用于多人姿勢估計，利用級聯(lián)金字塔網絡，大大提高了姿態(tài)估計的性能，使其能夠適應實際應用中姿態(tài)估計的高要求。

技術領域

本發(fā)明涉及姿態(tài)估計領域，尤其是涉及了一種基于級聯(lián)金字塔網絡的多人姿態(tài)估計方法。

背景技術

多人姿態(tài)估計是對圖像中所有人物的關鍵點進行識別和定位，它是人類動作識別和人機交互等多種視覺應用的基礎研究課題，也是具有一定難度的挑戰(zhàn)性課題。多人姿態(tài)估計技術可以用于體育運動或舞蹈表演等需要對人物姿態(tài)進行估計的領域，通過對運動員或表演人員的姿態(tài)進行識別和分析，可以幫助他們對自己或他人的動作姿態(tài)進行客觀和量化的分析或統(tǒng)計相關數據，用于創(chuàng)建個性化的訓練和分析系統(tǒng)，指導運動員或表演人員進行科學有效的訓練；其也可以用于交通領域的行人姿態(tài)估計，通過對眾多行人的姿態(tài)進行識別和分析，判斷行人前進的方向，從而輔助駕駛員規(guī)劃行車路線和采取相應措施。相關的姿態(tài)估計技術還可以用于人機交互、公共場合的安防系統(tǒng)等領域，給人們的生活帶來更多的便利。然而，現有的姿態(tài)估計方法仍不能很好地解決由于遮擋的關鍵點、隱形的關鍵點以及復雜的背景引起的估計準確性不高的問題。

本發(fā)明提出了一種基于級聯(lián)金字塔網絡的多人姿態(tài)估計方法，先根據默認的錨點生成邊界框建議，然后根據特征圖進行裁剪，并通過遞歸卷積神經網絡(R-CNN)進一步細化建議，以獲得最終的邊界框，邊界框圈出畫面中的人物，接著用級聯(lián)金字塔網絡在每個人物的邊界框中定位關鍵點，其中全局網絡可以定位簡單的關鍵點，提煉網絡通過整合來自全局網絡所有級別的特征表示來處理難的關鍵點，并僅從選擇的關鍵點反向傳播損失。本發(fā)明將自上向下的方法用于多人姿勢估計，利用級聯(lián)金字塔網絡，大大提高了姿態(tài)估計的性能，使其能夠適應實際應用中姿態(tài)估計的高要求。

發(fā)明內容

針對由于遮擋的關鍵點、隱形的關鍵點以及復雜的背景引起的估計準確性不高的問題，本發(fā)明的目的在于提供一種基于級聯(lián)金字塔網絡的多人姿態(tài)估計方法，先根據默認的錨點生成邊界框建議，然后根據特征圖進行裁剪，并通過遞歸卷積神經網絡(R-CNN)進一步細化建議，以獲得最終的邊界框，邊界框圈出畫面中的人物，接著用級聯(lián)金字塔網絡在每個人物的邊界框中定位關鍵點，其中全局網絡可以定位簡單的關鍵點，提煉網絡通過整合來自全局網絡所有級別的特征表示來處理難的關鍵點，并僅從選擇的關鍵點反向傳播損失。

為解決上述問題，本發(fā)明提供一種基于級聯(lián)金字塔網絡的多人姿態(tài)估計方法，其主要內容包括：

(一)級聯(lián)金字塔網絡(CPN)；

(二)多人姿態(tài)估計；

(三)訓練和測試。

其中，所述的級聯(lián)金字塔網絡(CPN)，級聯(lián)金字塔網絡包括兩個子網絡，分別為全局網絡和提煉網絡；全局網絡是一個特征金字塔網絡，可以定位“簡單”的關鍵點，如眼睛和手，但可能無法精確識別被遮擋或不可見的關鍵點；提煉網絡通過整合來自全局網絡所有級別的特征表示來處理“難”關鍵點。