[發(fā)明專利]一種多目標人體2D姿態(tài)實時檢測系統(tǒng)及檢測方法

在審

• 申請?zhí)枺?/td>: 201711102577.3
• 申請日: 2017-11-10
• 公開（公告）號: CN107886069A
• 公開（公告）日: 2018-04-06
• 發(fā)明（設(shè)計）人: 盧紹文;王金鑫;王克棟;郭章;程盟盟;李鵬琦;趙磊;劉曉麗;丁進良;柴天佑
• 申請（專利權(quán)）人: 東北大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 沈陽優(yōu)普達知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙)21234
• 代理人: 張志偉

技術(shù)領(lǐng)域

本發(fā)明涉及計算機視覺和深度學習領(lǐng)域，尤其涉及一種多目標人體2D姿態(tài)實時檢測系統(tǒng)及檢測方法。

背景技術(shù)

隨著計算機視覺技術(shù)、深度學習技術(shù)發(fā)展，人體姿態(tài)估計仍然是日益活躍的計算機視覺的一個研究領(lǐng)域，并具有廣闊的應(yīng)用前景，如人機交互、智能監(jiān)控、運動員輔助訓(xùn)練、視頻編碼等。近年來，在這些應(yīng)用的驅(qū)動之下，行為分析已經(jīng)成為計算機視覺、機器人領(lǐng)域、深度學習、機器學習、數(shù)據(jù)挖掘?qū)W等相關(guān)領(lǐng)域的研究熱點。人體行為分析的目的在于描述、識別和理解人體動作、人與人之間以及人與環(huán)境之間的交互行為，其在智能視頻監(jiān)控、虛擬現(xiàn)實、機器人人機交互等方面具有廣泛的應(yīng)用背景，而進行人體的姿態(tài)估計則是進行行為分析的前提條件。

2D人體姿態(tài)是指人體關(guān)節(jié)在圖像二維平面分布的一種描述，主要是在圖像中檢測出人體的各個關(guān)鍵點，包括面部，軀干和手指等的位置、方向以及尺度信息。一般使用線段或者矩形來描述人體關(guān)節(jié)在圖像二維平面的投影。線段或者矩形的角度分布和大小描述了人體的姿態(tài)。

現(xiàn)有的2D人體姿態(tài)估計已經(jīng)很大程度上聚焦于尋找人體的某個部位，從而推斷出一張圖像中的多個的姿態(tài)。現(xiàn)有的2D人體姿態(tài)估計采用一種自上而下的檢測方法：先檢測圖像中的人體信息，獲得人體的位置信息后再對人體進行姿態(tài)估計。現(xiàn)有的方法在多目標的場景中檢測精度并不理想：首先，每張圖片中可能包含未知個數(shù)的人，而且這些人的出現(xiàn)的位置和范圍都是未知的。其次，人與人之間的交互可能帶來空間上的干擾，由于人與人之間有相互接觸，關(guān)節(jié)之間的相互重疊，采用先檢測人體的方法在這種情況下可能漏檢被遮擋的，信息不完全的人體，造成不精確的估計。第三，時間復(fù)雜度會隨著圖片中的人數(shù)的增加而增加，這對于系統(tǒng)的實時性來說是一個巨大的挑戰(zhàn)。

發(fā)明內(nèi)容

本發(fā)明實施例提供一種多目標人體2D姿態(tài)實時檢測系統(tǒng)及方法，對于人員聚集復(fù)雜的情況，能夠準確估計場景中的多個人體姿態(tài)，方便用戶對人體的姿態(tài)進一步分析處理和挖掘，從而預(yù)測人的下一步行為。

本發(fā)明提供一種多目標人體2D姿態(tài)實時檢測系統(tǒng)，包括：

圖像采集模塊，用于獲取圖像數(shù)據(jù)；

實時處理模塊，用于將圖像數(shù)據(jù)輸入到神經(jīng)網(wǎng)絡(luò)進行學習和預(yù)測，并根據(jù)獲取的關(guān)節(jié)點位置的熱點圖和關(guān)節(jié)點之間的方向向量場的熱點圖生成人體的姿態(tài)信息；

可視化顯示模塊，用于將預(yù)測得到的人體姿態(tài)信息通過線段連接的方式呈現(xiàn)給用戶。

在本發(fā)明的多目標人體2D姿態(tài)實時檢測系統(tǒng)中，所述圖像采集模塊為USB攝像機或者網(wǎng)絡(luò)攝像機，用于獲取圖像信息并將圖像信息轉(zhuǎn)換成標準RGB圖像。

在本發(fā)明的多目標人體2D姿態(tài)實時檢測系統(tǒng)中，所述實時處理模塊包括：

神經(jīng)網(wǎng)絡(luò)子模塊，用于將圖像數(shù)據(jù)輸入到神經(jīng)網(wǎng)絡(luò)進行學習和預(yù)測，獲取到關(guān)節(jié)點位置的熱點圖和關(guān)節(jié)點之間的方向向量場的熱點圖，方向向量場的熱點圖描述了兩個關(guān)節(jié)點是否可以連接在一起組成人體的一部分骨骼；

關(guān)節(jié)點連接子模塊，用于對神經(jīng)網(wǎng)絡(luò)輸出的兩種熱點圖進行融合，將屬于同一人體的關(guān)節(jié)點連接起來，構(gòu)成完整的人體姿態(tài)信息。

本發(fā)明還提供一種多目標人體2D姿態(tài)實時檢測方法，包括：

步驟1：獲取圖像數(shù)據(jù)；

步驟2：將圖像數(shù)據(jù)輸入到神經(jīng)網(wǎng)絡(luò)進行學習和預(yù)測，利用神經(jīng)網(wǎng)絡(luò)提取特征，根據(jù)獲取的關(guān)節(jié)點位置的熱點圖和關(guān)節(jié)點之間的方向向量場的熱點圖生成人體的姿態(tài)信息；

步驟3：將預(yù)測得到的人體姿態(tài)信息通過線段連接的方式呈現(xiàn)給用戶。利用線段將屬于某一個人的所有關(guān)節(jié)點按人體實際的連接情況連接起來，得到人體的完整姿態(tài)信息。

在本發(fā)明的多目標人體2D姿態(tài)實時檢測方法中，所述步驟1具體為：

通過USB攝像機或者網(wǎng)絡(luò)攝像機獲取待處理圖像信息，將獲得的圖像信息轉(zhuǎn)換成標準RGB圖像。

在本發(fā)明的多目標人體2D姿態(tài)實時檢測方法中，所述步驟2包括：

步驟2.1：將歷史圖像數(shù)據(jù)作為神經(jīng)網(wǎng)絡(luò)的輸入對神經(jīng)網(wǎng)絡(luò)模型進行訓(xùn)練；

步驟2.2：將要檢測的圖像數(shù)據(jù)輸入到訓(xùn)練完的神經(jīng)網(wǎng)絡(luò)模型，利用神經(jīng)網(wǎng)絡(luò)提取特征，得到對于該圖像預(yù)測的不同類型關(guān)節(jié)點的熱點圖和關(guān)節(jié)點之間的方向向量場熱點圖；

步驟2.3：對神經(jīng)網(wǎng)絡(luò)輸出的兩種熱點圖進行融合，將屬于同一人體的關(guān)節(jié)點連接起來，構(gòu)成完整的人體姿態(tài)信息。

在本發(fā)明的多目標人體2D姿態(tài)實時檢測方法中，所述步驟2.1包括：

步驟2.1.1：建立卷積神經(jīng)網(wǎng)絡(luò)的初始模型，卷積神經(jīng)網(wǎng)絡(luò)包括單通道階段和多個雙通道階段，單通道階段包括：