[發(fā)明專利]一種多目標(biāo)人體姿態(tài)檢測(cè)方法以及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201810909302.9
• 申請(qǐng)日: 2018-08-10
• 公開(kāi)（公告）號(hào): CN108960211B
• 公開(kāi)（公告）日: 2020-12-01
• 發(fā)明（設(shè)計(jì)）人: 劉曉程;蔡國(guó)榕;張翔;蘇松志;蘇松劍
• 申請(qǐng)（專利權(quán)）人: 羅普特（廈門）科技集團(tuán)有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06N3/04
• 代理公司: 廈門市精誠(chéng)新創(chuàng)知識(shí)產(chǎn)權(quán)代理有限公司 35218
• 代理人: 方惠春

本發(fā)明公開(kāi)了一種多目標(biāo)人體姿態(tài)檢測(cè)方法以及系統(tǒng)，涉及圖像處理領(lǐng)域。其中，該方法包括：獲取目標(biāo)圖像；提取所述目標(biāo)圖像的關(guān)節(jié)點(diǎn)信息；根據(jù)所述關(guān)節(jié)點(diǎn)信息以及關(guān)節(jié)點(diǎn)之間的距離約束，獲取各關(guān)節(jié)點(diǎn)之間的匹配信息；根據(jù)所述匹配信息，組合各關(guān)節(jié)點(diǎn)，完成所述目標(biāo)圖像中的人體姿態(tài)估計(jì)。進(jìn)一步地，獲取目標(biāo)圖像還包括對(duì)所述目標(biāo)圖像進(jìn)行縮放，構(gòu)建圖像金字塔；通過(guò)設(shè)定金字塔層數(shù)和縮放尺度得到不同尺度下所述目標(biāo)圖像的縮放圖像。本發(fā)明通過(guò)在關(guān)節(jié)點(diǎn)之間添加距離約束條件，能夠有效解決不同目標(biāo)之間關(guān)節(jié)點(diǎn)匹配錯(cuò)誤的問(wèn)題。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理領(lǐng)域，特別涉及一種基于圖像的多目標(biāo)人體姿態(tài)檢測(cè)方法以及系統(tǒng)。

背景技術(shù)

隨著互聯(lián)網(wǎng)下海量大數(shù)據(jù)的積累、計(jì)算機(jī)硬件水平的飛速提升，使得基于深度神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)算法相比于傳統(tǒng)的機(jī)器學(xué)習(xí)算法在計(jì)算機(jī)視覺(jué)領(lǐng)域，監(jiān)控領(lǐng)域有著明顯的性能提升，廣泛應(yīng)用于目標(biāo)檢測(cè)與識(shí)別、視頻結(jié)構(gòu)化和視頻語(yǔ)義理解等場(chǎng)景。近年來(lái)，基于人體姿態(tài)的人體行為分析已經(jīng)成為計(jì)算機(jī)視覺(jué)、視頻監(jiān)控、深度學(xué)習(xí)、機(jī)器學(xué)習(xí)等相關(guān)領(lǐng)域的研究熱點(diǎn)。人體姿態(tài)估計(jì)目的在于通過(guò)人體關(guān)節(jié)點(diǎn)的信息讓機(jī)器去理解并描述人體的動(dòng)作、行為、人與人之間的互動(dòng)關(guān)系等。

目前人體姿態(tài)估計(jì)技術(shù)主要分為自頂向下和自底向上兩種方法。自頂向下：首先利用行人檢測(cè)等方法檢測(cè)出圖像中的行人(人體)，然后根據(jù)獲得的人體位置信息再進(jìn)行人體關(guān)節(jié)點(diǎn)的檢測(cè)與提取，完成人體姿態(tài)估計(jì)。這種方法檢測(cè)速度依賴于畫面中的目標(biāo)個(gè)數(shù)，檢測(cè)速度隨著人體的個(gè)數(shù)增加而增加。同時(shí)，基于每個(gè)單一的人體進(jìn)行姿態(tài)估計(jì)，忽略了人與人之間的位置關(guān)系，可能由于人與人之間的遮擋導(dǎo)致估計(jì)的關(guān)節(jié)重疊，造成人體姿態(tài)估計(jì)不準(zhǔn)確。自底向上：首先根據(jù)輸入的圖像檢測(cè)出所有的人體關(guān)節(jié)點(diǎn)位置信息，然后通過(guò)不同的方法對(duì)所有關(guān)節(jié)點(diǎn)進(jìn)行重組與聚類，完成人體姿態(tài)估計(jì)。這種方法檢測(cè)速度不依賴于畫面中的目標(biāo)個(gè)數(shù)，檢測(cè)速度快且固定。但是，如何僅依靠關(guān)節(jié)點(diǎn)的位置信息如何快速判斷是否屬于同一個(gè)目標(biāo)往往是個(gè)難以計(jì)算的問(wèn)題，同時(shí)極有可能由于關(guān)節(jié)點(diǎn)的歸類錯(cuò)誤導(dǎo)致人體姿態(tài)估計(jì)的錯(cuò)誤。

發(fā)明內(nèi)容

為了克服如上所述的技術(shù)問(wèn)題，本發(fā)明提出一種多目標(biāo)人體姿態(tài)檢測(cè)方法以及系統(tǒng)，通過(guò)在關(guān)節(jié)點(diǎn)之間添加距離約束條件，能夠有效解決不同目標(biāo)之間關(guān)節(jié)點(diǎn)匹配錯(cuò)誤問(wèn)題。本發(fā)明的技術(shù)方案如下：

第一方面，提出一種多目標(biāo)人體姿態(tài)檢測(cè)方法，包括：

獲取目標(biāo)圖像；

提取所述目標(biāo)圖像的關(guān)節(jié)點(diǎn)信息；

根據(jù)所述關(guān)節(jié)點(diǎn)信息以及關(guān)節(jié)點(diǎn)之間的距離約束，獲取各關(guān)節(jié)點(diǎn)之間的匹配信息；

根據(jù)所述匹配信息，組合各關(guān)節(jié)點(diǎn)，完成所述目標(biāo)圖像中的人體姿態(tài)估計(jì)。

進(jìn)一步地，獲取目標(biāo)圖像還包括對(duì)所述目標(biāo)圖像進(jìn)行縮放，構(gòu)建圖像金字塔；通過(guò)設(shè)定金字塔層數(shù)和縮放尺度得到不同尺度下所述目標(biāo)圖像的縮放圖像。

進(jìn)一步地，所述目標(biāo)圖像的關(guān)節(jié)點(diǎn)信息包括關(guān)節(jié)點(diǎn)的置信度圖和關(guān)節(jié)點(diǎn)之間的方向向量場(chǎng)。

第二方面，提出一種多目標(biāo)人體姿態(tài)檢測(cè)系統(tǒng)，包括：

圖像獲取模塊，用于獲取目標(biāo)圖像；

提取關(guān)節(jié)點(diǎn)信息模塊，用于提取所述目標(biāo)圖像的關(guān)節(jié)點(diǎn)信息；

匹配關(guān)節(jié)點(diǎn)模塊，用于根據(jù)所述關(guān)節(jié)點(diǎn)信息以及關(guān)節(jié)點(diǎn)之間的距離約束，獲取各關(guān)節(jié)點(diǎn)之間的匹配信息；

組合關(guān)鍵點(diǎn)模塊，用于根據(jù)所述匹配信息，組合各關(guān)節(jié)點(diǎn)，完成所述目標(biāo)圖像中的人體姿態(tài)估計(jì)。

第三方面，提出一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)中存儲(chǔ)有至少一段程序，所述至少一條指令、至少一段程序由所述處理器執(zhí)行以實(shí)現(xiàn)如第一方面所述的多目標(biāo)人體姿態(tài)檢測(cè)方法。

本發(fā)明提供的技術(shù)方案帶來(lái)的有益效果是：