[發(fā)明專利]二維和三維多人姿態(tài)估計(jì)系統(tǒng)及方法

有效

• 申請?zhí)枺?/td>: 202011509274.5
• 申請日: 2020-12-18
• 公開（公告）號(hào): CN112651316B
• 公開（公告）日: 2022-07-15
• 發(fā)明（設(shè)計(jì)）人: 徐超;李杰鋒;諶志存;盧策吾
• 申請（專利權(quán)）人: 上海交通大學(xué)
• 主分類號(hào): G06V40/10
• 分類號(hào): G06V40/10;G06V40/20;G06V10/82;G06N3/04
• 代理公司: 上海交達(dá)專利事務(wù)所 31201
• 代理人: 王毓理;王錫麟

1.一種二維和三維多人姿態(tài)估計(jì)系統(tǒng)，其特征在于，包括：數(shù)據(jù)層、模型層和評估層，其中：數(shù)據(jù)層根據(jù)訓(xùn)練階段和評估階段所需的二維和三維姿態(tài)數(shù)據(jù)集或推理階段輸入的圖片路徑集進(jìn)行解析和預(yù)處理得到模型圖片的輸入數(shù)據(jù)和監(jiān)督目標(biāo)，模型層根據(jù)輸入數(shù)據(jù)與監(jiān)督目標(biāo)對基于卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行推理與訓(xùn)練，得到二維和三維姿態(tài)預(yù)測結(jié)果，評估層將二維和三維姿態(tài)預(yù)測結(jié)果坐標(biāo)變換得到最終算法預(yù)測結(jié)果，并對預(yù)測結(jié)果評估打分；

所述的數(shù)據(jù)層包括：數(shù)據(jù)集解析單元與預(yù)處理單元；

所述的模型層包括：特征提取單元、上采樣單元、二維熱力圖子網(wǎng)絡(luò)單元、一維深度中間表征子網(wǎng)絡(luò)單元和后處理單元；

所述的評估層包括：坐標(biāo)變換單元和評估單元；

所述的特征提取單元以數(shù)據(jù)層預(yù)處理后的圖片數(shù)據(jù)以及監(jiān)督目標(biāo)為輸入，經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)骨架后，得到分辨率較低的高維語義特征；所述的上采樣單元通過上采樣卷積神經(jīng)網(wǎng)絡(luò)，進(jìn)一步擴(kuò)大高維語義特征的特征分辨率，得到甚高維語義特征；所述的二維熱力圖子網(wǎng)絡(luò)單元根據(jù)甚高維語義特征，通過一層通道映射卷積層得到各節(jié)點(diǎn)的二維熱力圖；所述的一維深度中間表征子網(wǎng)絡(luò)單元通過全局池化與全連接層，對甚高維語義特征直接回歸節(jié)點(diǎn)深度中間表征，即子節(jié)點(diǎn)相對于父節(jié)點(diǎn)的深度偏移量；所述的后處理單元對二維熱力圖：采用優(yōu)化積分坐標(biāo)回歸方法將熱力圖解碼得到其表征的二維節(jié)點(diǎn)坐標(biāo)以及對深度中間表征：從根關(guān)節(jié)點(diǎn)出發(fā)經(jīng)過骨架動(dòng)力鏈累加各子節(jié)點(diǎn)偏移量，得到各節(jié)點(diǎn)相對于根節(jié)點(diǎn)的深度，再將兩部分合并得到預(yù)測的三維節(jié)點(diǎn)坐標(biāo)。

2.根據(jù)權(quán)利要求1所述的二維和三維多人姿態(tài)估計(jì)系統(tǒng)，其特征是，所述的數(shù)據(jù)集解析單元在訓(xùn)練階段和評估階段對二維和三維姿態(tài)數(shù)據(jù)集所包含圖片和標(biāo)注文件進(jìn)行解析，得到數(shù)據(jù)集的原始圖片、人體邊界框及其二維節(jié)點(diǎn)標(biāo)注或三維節(jié)點(diǎn)標(biāo)注；在推理階段以圖片路徑列表作為輸入，得到列表中的每張?jiān)紙D片數(shù)據(jù)，并通過目標(biāo)檢測器獲取人體候選邊界框，生成全零的節(jié)點(diǎn)偽標(biāo)注；

所述的預(yù)處理單元對數(shù)據(jù)進(jìn)行隨機(jī)裁切、旋轉(zhuǎn)、遮擋、反轉(zhuǎn)、顏色畸變、歸一化以及關(guān)節(jié)定義重對齊，得模型圖片輸入和訓(xùn)練監(jiān)督目標(biāo)。

3.根據(jù)權(quán)利要求2所述的二維和三維多人姿態(tài)估計(jì)系統(tǒng)，其特征是，所述的監(jiān)督目標(biāo)中的二維姿態(tài)的監(jiān)督目標(biāo)通過增加置零深度維與三維姿態(tài)數(shù)據(jù)集對齊，并且深度上的目標(biāo)權(quán)重掩碼置零。

4.根據(jù)權(quán)利要求1所述的二維和三維多人姿態(tài)估計(jì)系統(tǒng)，其特征是，所述的坐標(biāo)變換單元對模型輸出的二維預(yù)測坐標(biāo)和三維預(yù)測坐標(biāo)，經(jīng)過坐標(biāo)變換得到各自最終預(yù)測結(jié)果，包括：在二維姿態(tài)估計(jì)任務(wù)中，將網(wǎng)絡(luò)輸出的二維坐標(biāo)從相對于框中圖片坐標(biāo)系變換至原始圖片坐標(biāo)系，在三維姿態(tài)估計(jì)任務(wù)中，將網(wǎng)絡(luò)輸出的三維坐標(biāo)組合的二維坐標(biāo)部分從框中圖片坐標(biāo)系變換至原始圖片坐標(biāo)系，與深度坐標(biāo)部分組合后利用攝像機(jī)的內(nèi)參信息和根關(guān)節(jié)點(diǎn)距離攝像機(jī)的深度經(jīng)過小孔成像原理得到攝像機(jī)坐標(biāo)系下的三維空間坐標(biāo)。

5.一種基于上述任一權(quán)利要求所述系統(tǒng)的二維和三維多人姿態(tài)估計(jì)方法，其特征在于，通過對二維姿態(tài)數(shù)據(jù)集和三維姿態(tài)數(shù)據(jù)集進(jìn)行解析并且預(yù)處理后進(jìn)行模型推理，分別得到二維熱力圖和深度中間表征，經(jīng)各自后處理后分別得到二維坐標(biāo)和三維坐標(biāo)，對其施加監(jiān)督訓(xùn)練，最后經(jīng)坐標(biāo)變換后得到二維最終預(yù)測坐標(biāo)以及三維最終預(yù)測坐標(biāo)并分別進(jìn)行二維姿態(tài)評估和三維姿態(tài)評估與結(jié)果存儲(chǔ)。

6.根據(jù)權(quán)利要求5所述的二維和三維多人姿態(tài)估計(jì)方法，其特征是，所述的優(yōu)化積分坐標(biāo)回歸方法是指：將歸一化后的單張二維熱力圖看作二維坐標(biāo)的聯(lián)合概率分布，通過對另一變量的積分操作，對聯(lián)合概率分布邊緣化，得到概率分布的離散形式和其中：單張二維熱力圖h∈{h^k|k∈[1，K]}，H_o和W_o分別為熱力圖的高度和寬度，設(shè)為預(yù)測點(diǎn)的坐標(biāo)向量，則預(yù)測的節(jié)點(diǎn)二維坐標(biāo)由概率的期望公式得到以及設(shè)熱力圖上的坐標(biāo)向量變量為y∈[1，height]}，將離散化的坐標(biāo)積分回歸表達(dá)為

7.根據(jù)權(quán)利要求6所述的二維和三維多人姿態(tài)估計(jì)方法，其特征是，使用sigmoid激活函數(shù)與除以總和的方式作為熱力圖的歸一化方式。