[發(fā)明專利]一種使用多視圖匹配方法的多人三維姿態(tài)估計方法

有效

• 申請?zhí)枺?/td>: 201910200726.2
• 申請日: 2019-03-17
• 公開（公告）號: CN109977827B
• 公開（公告）日: 2020-11-13
• 發(fā)明（設計）人: 劉新國;周子孟;李妙鵬
• 申請（專利權(quán)）人: 浙江大學;杭州相芯科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 黃歡娣;邱啟旺

本發(fā)明提出了一種使用多視圖匹配方法的多人三維姿態(tài)估計方法，主要過程如下：首先使用神經(jīng)網(wǎng)絡獲取多視圖圖片中關(guān)節(jié)點的二維坐標；其次，設計了一種多圖像匹配算法，對多視圖中的關(guān)節(jié)點進行匹配，并使用二維坐標得到三維坐標；最后使用了一種簡單的貪心算法，在三維空間進行姿態(tài)解析。

技術(shù)領域

本發(fā)明在多視圖圖片上應用了現(xiàn)有的二維多人姿態(tài)估計技術(shù)，使用一種創(chuàng)新的多視圖匹配方法恢復三維關(guān)節(jié)點，其次提出了一種在三維空間內(nèi)進行的姿態(tài)解析算法，以得到最終的多人三維估計結(jié)果。

背景技術(shù)

二維和三維的多人人體姿態(tài)估計是計算機視覺領域的一項非常有挑戰(zhàn)的工作。多人姿勢估計旨在找出圖像中所有人的骨骼關(guān)鍵點。由于身體姿態(tài)的高度靈活性、自我以及外部的遮擋、不同的衣服、罕見的姿勢等原因，戶外多人的姿勢估計是非常具有挑戰(zhàn)性的。

由于深度卷積神經(jīng)網(wǎng)絡的出現(xiàn)，二維多人姿態(tài)估計的準確性得到了很大的提升，現(xiàn)有的方法大致可分為兩類：自底向上的方法和自頂向下的方法。自頂向下的方法首先通過人體檢測器獲取候選人，然后執(zhí)行單人姿勢估計。自底向上的方法直接預測關(guān)鍵點，然后將它們組成所有人的完整姿勢。但是兩種方法都有著各自的缺點：自頂向下的方法對人體檢測器的準確度有著很高的要求，而且時間復雜度隨著圖片中的人數(shù)線性增長；自底向上的方法在嚴重遮擋的情況下無法得到理想的結(jié)果。

盡管二維的多人姿態(tài)估計得到了很大的進步，但是三維的多人姿態(tài)估計還存在很多問題需要解決，一些方法通過神經(jīng)網(wǎng)絡直接獲得三維的人體姿態(tài)，但是這種方法對于復雜的多人場景不能很好的工作，而且得到的是局部坐標；一些方法先是獲得二維的估計結(jié)果，然后在通過一些算法計算三維結(jié)果，這種方法受限于二維姿態(tài)估計方法的準確性，也很難得到在世界坐標系下的關(guān)節(jié)點坐標。

發(fā)明內(nèi)容

本發(fā)明的目的是針對現(xiàn)有技術(shù)的不足，提供一種使用多視圖匹配方法的多人三維姿態(tài)估計方法。

本發(fā)明是通過以下技術(shù)方案實現(xiàn)的：一種使用多視圖匹配方法的多人三維姿態(tài)估計方法，包括以下步驟：

(1)二維關(guān)節(jié)點檢測：使用場景中設置的V個相機，獲得V個圖像，對于每個圖像使用卷積神經(jīng)網(wǎng)絡，獲取對應的14個關(guān)節(jié)的置信圖S_p和13個親和力場L_c，p＝1,2,…,14；c＝1,2,…,13。

對于第v個圖像，提取出其置信圖S_p中個置信度極大值的坐標x_i，組成坐標集合

(2)關(guān)節(jié)點關(guān)聯(lián)：

從V個圖像中任意選取兩個圖像v和w構(gòu)成一組，針對關(guān)節(jié)點p，根據(jù)這一組圖像獲得一組距離值{d_ij}，因此，一共可獲得組距離值；將組距離值中的所有距離值從小到大排序，依次進行關(guān)聯(lián)處理，得到關(guān)節(jié)點p的若干組關(guān)聯(lián)好的二維坐標點，其中，不同組的關(guān)節(jié)點分別對應于不同的人。

其中，對于圖像v和w，根據(jù)步驟1獲得的關(guān)節(jié)點p對應的坐標集合計算集合中任意一個坐標x_i與中任意一個坐標x_j之間的距離d_ij，從而構(gòu)成一組距離值{d_ij}。

其中X是使用相機參數(shù)和x_i,x_j進行三角化而得到的三維點。代表把三維點投影回到圖像v得到二維空間坐標的運算，u是圖像v,w之外的其他圖像，x_k為集合中的一個二維坐標。

關(guān)聯(lián)處理的方法分成以下四種情況：

①x_i和x_j都尚未關(guān)聯(lián)到任何一個人身上：那么新建一個人，x_i和x_j都屬于這個人。