[發(fā)明專利]一種通過2D圖像推斷人體動作姿態(tài)的方法及裝置

有效

• 申請?zhí)枺?/td>: 201710612964.5
• 申請日: 2017-07-25
• 公開（公告）號: CN107545242B
• 公開（公告）日: 2020-05-26
• 發(fā)明（設(shè)計）人: 郭繼舜
• 申請（專利權(quán)）人: 大圣科技股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 廣州市越秀區(qū)哲力專利商標(biāo)事務(wù)所(普通合伙) 44288
• 代理人: 陳振楔;李悅

1.一種通過2D圖像推斷人體動作姿態(tài)的方法，其特征在于包括以下步驟：

2D圖像獲取步驟：獲取含有人體動作的2D圖像；

置信圖計算步驟：對所述2D圖像做卷積神經(jīng)網(wǎng)絡(luò)算法得到對應(yīng)的置信圖；

匹配步驟：將2D圖像對應(yīng)的置信圖與預(yù)設(shè)的3D模型數(shù)據(jù)庫進(jìn)行匹配，從而得到所述2D圖像對應(yīng)的3D模型；其中，3D模型數(shù)據(jù)庫為通過人體佩戴相應(yīng)的采集設(shè)備，并對人體動作時關(guān)節(jié)自由度進(jìn)行記錄，進(jìn)而構(gòu)建一個由20萬個具有代表性的3D動作組成的人體動作3D模型數(shù)據(jù)庫；所述將2D圖像對應(yīng)的置信圖與預(yù)設(shè)的3D模型數(shù)據(jù)庫進(jìn)行匹配時采用托馬西-金出武雄算法進(jìn)行匹配得出3D模型；

映射步驟：將所述3D模型在任意平面視角下進(jìn)行映射，從而獲取每個平面視角下的人體動作姿態(tài)；所述映射步驟包括：對于3D模型固定z軸，即以z軸為旋轉(zhuǎn)軸進(jìn)行旋轉(zhuǎn)，步進(jìn)值為1°；將每個步進(jìn)角度所投射的2D圖像與獲取包含人體動作的2D圖像作對比，得到置信度最高的那個步進(jìn)角度所對應(yīng)的人體動作姿態(tài)模型，就是2D圖像所對應(yīng)的人體動作姿態(tài)；其中，置信度為3D模型所投射的2D圖像與獲取包含人體動作的2D圖像中每個關(guān)節(jié)自由度的相似度；

所述匹配步驟之前還包括歸一化步驟：將3D模型數(shù)據(jù)庫中的所有3D模型所在的坐標(biāo)系歸一化為同一坐標(biāo)系。

2.如權(quán)利要求1所述的方法，其特征在于：所述3D模型是由一系列人體上的多個關(guān)節(jié)自由度的節(jié)點(diǎn)以及關(guān)節(jié)自由度的節(jié)點(diǎn)之間的連線組成的人體模型示意圖。

3.如權(quán)利要求1-2中任一項(xiàng)所述的方法，其特征在于：所述3D模型數(shù)據(jù)庫中，每個3D模型均表示為一個(3×L)的矩陣P_i，i∈{1,2,3,...L}，矩陣中的每個元素表示人體動作模型中關(guān)節(jié)自由度。

4.一種電子設(shè)備，包括存儲器、處理器以及存儲在存儲器上并可在處理器上運(yùn)行的計算機(jī)程序，其特征在于：所述處理器執(zhí)行所述程序時實(shí)現(xiàn)以下步驟：

2D圖像獲取步驟：獲取含有人體動作的2D圖像；

置信圖計算步驟：對所述2D圖像做卷積神經(jīng)網(wǎng)絡(luò)算法得到對應(yīng)的置信圖；

匹配步驟：將2D圖像對應(yīng)的置信圖與預(yù)設(shè)的3D模型數(shù)據(jù)庫進(jìn)行匹配，從而得到所述2D圖像對應(yīng)的3D模型；其中，3D模型數(shù)據(jù)庫為通過人體佩戴相應(yīng)的采集設(shè)備，并對人體動作時關(guān)節(jié)自由度進(jìn)行記錄，進(jìn)而構(gòu)建一個由20萬個具有代表性的3D動作組成的人體動作3D模型數(shù)據(jù)庫；所述將2D圖像對應(yīng)的置信圖與預(yù)設(shè)的3D模型數(shù)據(jù)庫進(jìn)行匹配時采用托馬西-金出武雄算法進(jìn)行匹配得出3D模型；

映射步驟：將所述3D模型在任意平面視角下進(jìn)行映射，從而獲取每個平面視角下的人體動作姿態(tài)；所述映射步驟包括：對于3D模型固定z軸，即以z軸為旋轉(zhuǎn)軸進(jìn)行旋轉(zhuǎn)，步進(jìn)值為1°；將每個步進(jìn)角度所投射的2D圖像與獲取包含人體動作的2D圖像作對比，得到置信度最高的那個步進(jìn)角度所對應(yīng)的人體動作姿態(tài)模型，就是2D圖像所對應(yīng)的人體動作姿態(tài)；其中，置信度為3D模型所投射的2D圖像與獲取包含人體動作的2D圖像中每個關(guān)節(jié)自由度的相似度；

所述匹配步驟之前還包括歸一化步驟：將3D模型數(shù)據(jù)庫中的所有3D模型所在的坐標(biāo)系歸一化為同一坐標(biāo)系。

5.如權(quán)利要求4所述的電子設(shè)備，其特征在于：所述3D模型是由一系列人體上的多個關(guān)節(jié)自由度的節(jié)點(diǎn)以及關(guān)節(jié)自由度的節(jié)點(diǎn)之間的連線組成的人體模型示意圖。

6.如權(quán)利要求4-5中任一項(xiàng)所述的電子設(shè)備，其特征在于：所述3D模型數(shù)據(jù)庫中，每個3D模型均表示為一個(3×L)的矩陣P_i，i∈{1,2,3,...L}，矩陣中的每個元素表示人體動作模型中關(guān)節(jié)自由度。

7.一種計算機(jī)可讀存儲介質(zhì)，其上存儲有計算機(jī)程序，其特征在于：所述計算機(jī)程序被處理器執(zhí)行時實(shí)現(xiàn)如權(quán)利要求1-3中任一項(xiàng)所述的通過2D圖像推斷人體動作姿態(tài)的步驟。

8.一種通過2D圖像推斷人體動作姿態(tài)的裝置，其特征在于包括：

2D圖像獲取模塊，用于獲取含有人體動作的2D圖像；

置信圖計算模塊，用于對所述2D圖像做卷積神經(jīng)網(wǎng)絡(luò)算法得到對應(yīng)的置信圖；

匹配模塊，用于將2D圖像對應(yīng)的置信圖與預(yù)設(shè)的3D模型數(shù)據(jù)庫進(jìn)行匹配，從而得到所述2D圖像對應(yīng)的3D模型；其中，3D模型數(shù)據(jù)庫為通過人體佩戴相應(yīng)的采集設(shè)備，并對人體動作時關(guān)節(jié)自由度進(jìn)行記錄，進(jìn)而構(gòu)建一個由20萬個具有代表性的3D動作組成的人體動作3D模型數(shù)據(jù)庫；所述將2D圖像對應(yīng)的置信圖與預(yù)設(shè)的3D模型數(shù)據(jù)庫進(jìn)行匹配時采用托馬西-金出武雄算法進(jìn)行匹配得出3D模型；

映射模塊，用于將所述3D模型在任意平面視角下進(jìn)行映射，從而獲取每個平面視角下的人體動作姿態(tài)；所述映射步驟包括：對于3D模型固定z軸，即以z軸為旋轉(zhuǎn)軸進(jìn)行旋轉(zhuǎn)，步進(jìn)值為1°；將每個步進(jìn)角度所投射的2D圖像與獲取包含人體動作的2D圖像作對比，得到置信度最高的那個步進(jìn)角度所對應(yīng)的人體動作姿態(tài)模型，就是2D圖像所對應(yīng)的人體動作姿態(tài)；其中，置信度為3D模型所投射的2D圖像與獲取包含人體動作的2D圖像中每個關(guān)節(jié)自由度的相似度；所述匹配模塊之前還包括歸一化模塊：將3D模型數(shù)據(jù)庫中的所有3D模型所在的坐標(biāo)系歸一化為同一坐標(biāo)系。