[發(fā)明專利]一種人體關(guān)鍵點(diǎn)檢測(cè)方法、裝置、存儲(chǔ)介質(zhì)及終端設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 202110059465.4
• 申請(qǐng)日: 2021-01-15
• 公開(kāi)（公告）號(hào): CN112733767B
• 公開(kāi)（公告）日: 2022-05-31
• 發(fā)明（設(shè)計(jì)）人: 謝雪梅;陳奕蕾
• 申請(qǐng)（專利權(quán)）人: 西安電子科技大學(xué)
• 主分類號(hào): G06V40/10
• 分類號(hào): G06V40/10;G06V40/20;G06V10/44;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 郝傳鑫

1.一種人體關(guān)鍵點(diǎn)檢測(cè)方法，其特征在于，包括：

獲取待檢測(cè)人體圖像；

基于預(yù)設(shè)的關(guān)鍵點(diǎn)檢測(cè)網(wǎng)絡(luò)，根據(jù)所述待檢測(cè)人體圖像獲取人體關(guān)鍵點(diǎn)預(yù)測(cè)熱圖；其中，所述關(guān)鍵點(diǎn)檢測(cè)網(wǎng)絡(luò)以預(yù)設(shè)的人體部位的高斯響應(yīng)熱圖作為監(jiān)督信息，所述高斯響應(yīng)熱圖根據(jù)人體數(shù)據(jù)集和預(yù)設(shè)的人體關(guān)鍵點(diǎn)之間的連接關(guān)系預(yù)先構(gòu)建獲得；所述高斯響應(yīng)熱圖包括關(guān)鍵點(diǎn)響應(yīng)熱圖和軀干響應(yīng)熱圖，所述關(guān)鍵點(diǎn)響應(yīng)熱圖以關(guān)鍵點(diǎn)位置為中心進(jìn)行構(gòu)建，所述軀干響應(yīng)熱圖以關(guān)鍵點(diǎn)之間的軀干連接為中心進(jìn)行構(gòu)建；

根據(jù)所述人體關(guān)鍵點(diǎn)預(yù)測(cè)熱圖對(duì)人體關(guān)鍵點(diǎn)的位置進(jìn)行檢測(cè)。

2.如權(quán)利要求1所述的人體關(guān)鍵點(diǎn)檢測(cè)方法，其特征在于，所述方法通過(guò)以下步驟預(yù)先構(gòu)建所述高斯響應(yīng)熱圖：

獲取人體數(shù)據(jù)文件，并對(duì)所述人體數(shù)據(jù)文件進(jìn)行數(shù)據(jù)增強(qiáng)處理，相應(yīng)獲得所述人體數(shù)據(jù)集；其中，所述人體數(shù)據(jù)文件至少包括人體圖像文件、人體檢測(cè)框的標(biāo)注文件以及人體關(guān)鍵點(diǎn)位置坐標(biāo)的標(biāo)注文件；

根據(jù)所述人體數(shù)據(jù)集和所述人體關(guān)鍵點(diǎn)之間的連接關(guān)系構(gòu)建所述高斯響應(yīng)熱圖；其中，所述人體關(guān)鍵點(diǎn)之間的連接關(guān)系至少包括人體的頭部、脖子、右肩、右肘、右手腕、左肩、左肘、左手腕、胸部、骨盆、左髖、右髖、左膝蓋、左腳踝、右膝蓋和右腳踝之間的連接關(guān)系。

3.如權(quán)利要求1或2所述的人體關(guān)鍵點(diǎn)檢測(cè)方法，其特征在于，所述關(guān)鍵點(diǎn)檢測(cè)網(wǎng)絡(luò)包括第一級(jí)檢測(cè)網(wǎng)絡(luò)、第二級(jí)檢測(cè)網(wǎng)絡(luò)、第三級(jí)檢測(cè)網(wǎng)絡(luò)和第四級(jí)檢測(cè)網(wǎng)絡(luò)；

則，所述基于預(yù)設(shè)的關(guān)鍵點(diǎn)檢測(cè)網(wǎng)絡(luò)，根據(jù)所述待檢測(cè)人體圖像獲取人體關(guān)鍵點(diǎn)預(yù)測(cè)熱圖，具體包括：

根據(jù)所述第一級(jí)檢測(cè)網(wǎng)絡(luò)對(duì)所述待檢測(cè)人體圖像進(jìn)行特征提取，相應(yīng)獲得所述待檢測(cè)人體圖像的第一級(jí)特征信息；

根據(jù)所述第二級(jí)檢測(cè)網(wǎng)絡(luò)對(duì)所述待檢測(cè)人體圖像進(jìn)行特征提取，相應(yīng)獲得所述待檢測(cè)人體圖像的第二級(jí)特征信息；

根據(jù)所述第三級(jí)檢測(cè)網(wǎng)絡(luò)對(duì)所述待檢測(cè)人體圖像進(jìn)行特征提取，相應(yīng)獲得所述待檢測(cè)人體圖像的第三級(jí)特征信息；

根據(jù)所述第四級(jí)檢測(cè)網(wǎng)絡(luò)對(duì)所述第一級(jí)特征信息、所述第二級(jí)特征信息和所述第三級(jí)特征信息進(jìn)行特征融合，相應(yīng)獲得所述人體關(guān)鍵點(diǎn)預(yù)測(cè)熱圖；

其中，所述第一級(jí)檢測(cè)網(wǎng)絡(luò)和所述第二級(jí)檢測(cè)網(wǎng)絡(luò)以所述軀干響應(yīng)熱圖作為監(jiān)督信息，所述第三級(jí)檢測(cè)網(wǎng)絡(luò)和所述第四級(jí)檢測(cè)網(wǎng)絡(luò)以所述關(guān)鍵點(diǎn)響應(yīng)熱圖作為監(jiān)督信息。

4.如權(quán)利要求3所述的人體關(guān)鍵點(diǎn)檢測(cè)方法，其特征在于，所述第一級(jí)檢測(cè)網(wǎng)絡(luò)、所述第二級(jí)檢測(cè)網(wǎng)絡(luò)和所述第三級(jí)檢測(cè)網(wǎng)絡(luò)均由Hourglass網(wǎng)絡(luò)構(gòu)成；所述第四級(jí)檢測(cè)網(wǎng)絡(luò)包括3*3卷積神經(jīng)網(wǎng)絡(luò)。

5.如權(quán)利要求1所述的人體關(guān)鍵點(diǎn)檢測(cè)方法，其特征在于，所述根據(jù)所述人體關(guān)鍵點(diǎn)預(yù)測(cè)熱圖對(duì)人體關(guān)鍵點(diǎn)的位置進(jìn)行檢測(cè)，具體包括：

根據(jù)最大似然估計(jì)從所述人體關(guān)鍵點(diǎn)預(yù)測(cè)熱圖中獲取目標(biāo)關(guān)鍵點(diǎn)的初始坐標(biāo)，并獲取所述目標(biāo)關(guān)鍵點(diǎn)的N個(gè)相鄰點(diǎn)的坐標(biāo)；其中，N≥2；

采用插值法，根據(jù)所述目標(biāo)關(guān)鍵點(diǎn)的初始坐標(biāo)以及N個(gè)所述相鄰點(diǎn)的坐標(biāo)確定所述目標(biāo)關(guān)鍵點(diǎn)的位置坐標(biāo)。

6.如權(quán)利要求5所述的人體關(guān)鍵點(diǎn)檢測(cè)方法，其特征在于，N＝2；則，所述采用插值法，根據(jù)所述目標(biāo)關(guān)鍵點(diǎn)的初始坐標(biāo)以及N個(gè)所述相鄰點(diǎn)的坐標(biāo)確定所述目標(biāo)關(guān)鍵點(diǎn)的位置坐標(biāo)，具體包括：

獲取所述人體關(guān)鍵點(diǎn)預(yù)測(cè)熱圖中所述目標(biāo)關(guān)鍵點(diǎn)的初始坐標(biāo)(x₀，y₀)對(duì)應(yīng)的像素值h₀；

獲取所述人體關(guān)鍵點(diǎn)預(yù)測(cè)熱圖中所述目標(biāo)關(guān)鍵點(diǎn)的第一相鄰點(diǎn)的坐標(biāo)(x₁，y₁)對(duì)應(yīng)的像素值h₁和第二相鄰點(diǎn)的坐標(biāo)(x₂，y₂)對(duì)應(yīng)的像素值h₂；

采用牛頓插值法，根據(jù)公式確定所述目標(biāo)關(guān)鍵點(diǎn)的位置坐標(biāo)(x，y)。