[發(fā)明專利]一種多目標(biāo)人體2D姿態(tài)實(shí)時(shí)檢測(cè)系統(tǒng)及檢測(cè)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201711102577.3
• 申請(qǐng)日: 2017-11-10
• 公開(kāi)（公告）號(hào): CN107886069A
• 公開(kāi)（公告）日: 2018-04-06
• 發(fā)明（設(shè)計(jì)）人: 盧紹文;王金鑫;王克棟;郭章;程盟盟;李鵬琦;趙磊;劉曉麗;丁進(jìn)良;柴天佑
• 申請(qǐng)（專利權(quán)）人: 東北大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 沈陽(yáng)優(yōu)普達(dá)知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙)21234
• 代理人: 張志偉

1.一種多目標(biāo)人體2D姿態(tài)實(shí)時(shí)檢測(cè)系統(tǒng)，其特征在于，包括：

圖像采集模塊，用于獲取圖像數(shù)據(jù)；

實(shí)時(shí)處理模塊，用于將圖像數(shù)據(jù)輸入到神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)和預(yù)測(cè)，并根據(jù)獲取的關(guān)節(jié)點(diǎn)位置的熱點(diǎn)圖和關(guān)節(jié)點(diǎn)之間的方向向量場(chǎng)的熱點(diǎn)圖生成人體的姿態(tài)信息；

可視化顯示模塊，用于將預(yù)測(cè)得到的人體姿態(tài)信息通過(guò)線段連接的方式呈現(xiàn)給用戶。

2.如權(quán)利要求1所述的多目標(biāo)人體2D姿態(tài)實(shí)時(shí)檢測(cè)系統(tǒng)，其特征在于，所述圖像采集模塊為USB攝像機(jī)或者網(wǎng)絡(luò)攝像機(jī)，用于獲取圖像信息并將圖像信息轉(zhuǎn)換成標(biāo)準(zhǔn)RGB圖像。

3.如權(quán)利要求1所述的多目標(biāo)人體2D姿態(tài)實(shí)時(shí)檢測(cè)系統(tǒng)，其特征在于，所述實(shí)時(shí)處理模塊包括：

神經(jīng)網(wǎng)絡(luò)子模塊，用于將圖像數(shù)據(jù)輸入到神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)和預(yù)測(cè)，獲取到關(guān)節(jié)點(diǎn)位置的熱點(diǎn)圖和關(guān)節(jié)點(diǎn)之間的方向向量場(chǎng)的熱點(diǎn)圖，方向向量場(chǎng)的熱點(diǎn)圖描述了兩個(gè)關(guān)節(jié)點(diǎn)是否可以連接在一起組成人體的一部分骨骼；

關(guān)節(jié)點(diǎn)連接子模塊，用于對(duì)神經(jīng)網(wǎng)絡(luò)輸出的兩種熱點(diǎn)圖進(jìn)行融合，將屬于同一人體的關(guān)節(jié)點(diǎn)連接起來(lái)，構(gòu)成完整的人體姿態(tài)信息。

4.一種多目標(biāo)人體2D姿態(tài)實(shí)時(shí)檢測(cè)方法，其特征在于，包括：

步驟1：獲取圖像數(shù)據(jù)；

步驟2：將圖像數(shù)據(jù)輸入到神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)和預(yù)測(cè)，利用神經(jīng)網(wǎng)絡(luò)提取特征，根據(jù)獲取的關(guān)節(jié)點(diǎn)位置的熱點(diǎn)圖和關(guān)節(jié)點(diǎn)之間的方向向量場(chǎng)的熱點(diǎn)圖生成人體的姿態(tài)信息；

步驟3：將預(yù)測(cè)得到的人體姿態(tài)信息通過(guò)線段連接的方式呈現(xiàn)給用戶。

5.如權(quán)利要求4所述的多目標(biāo)人體2D姿態(tài)實(shí)時(shí)檢測(cè)方法，其特征在于，所述步驟1具體為：

通過(guò)USB攝像機(jī)或者網(wǎng)絡(luò)攝像機(jī)獲取待處理圖像信息，將獲得的圖像信息轉(zhuǎn)換成標(biāo)準(zhǔn)RGB圖像。

6.如權(quán)利要求4所述的多目標(biāo)人體2D姿態(tài)實(shí)時(shí)檢測(cè)方法，其特征在于，所述步驟2包括：

步驟2.1：將歷史圖像數(shù)據(jù)作為神經(jīng)網(wǎng)絡(luò)的輸入對(duì)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練；

步驟2.2：將要檢測(cè)的圖像數(shù)據(jù)輸入到訓(xùn)練完的神經(jīng)網(wǎng)絡(luò)模型，利用神經(jīng)網(wǎng)絡(luò)提取特征，得到對(duì)于該圖像預(yù)測(cè)的不同類型關(guān)節(jié)點(diǎn)的熱點(diǎn)圖和關(guān)節(jié)點(diǎn)之間的方向向量場(chǎng)熱點(diǎn)圖；

步驟2.3：對(duì)神經(jīng)網(wǎng)絡(luò)輸出的兩種熱點(diǎn)圖進(jìn)行融合，將屬于同一人體的關(guān)節(jié)點(diǎn)連接起來(lái)，構(gòu)成完整的人體姿態(tài)信息。

7.如權(quán)利要求6所述的多目標(biāo)人體2D姿態(tài)實(shí)時(shí)檢測(cè)方法，其特征在于，所述步驟2.1包括：

步驟2.1.1：建立卷積神經(jīng)網(wǎng)絡(luò)的初始模型，卷積神經(jīng)網(wǎng)絡(luò)包括單通道階段和多個(gè)雙通道階段，單通道階段包括：

第一層和第二層為卷積層：對(duì)歷史圖像數(shù)據(jù)進(jìn)行卷積處理；

第三層為池化層：對(duì)第一層和第二層的結(jié)果進(jìn)行下采樣處理；

第四層和第五層為卷積層：對(duì)第三層的圖像進(jìn)行兩層卷積處理；

第六層為池化層：對(duì)第四層和第五層的結(jié)果進(jìn)行下采樣處理；

第七至第十層為卷積層：對(duì)第六層的圖像進(jìn)行四層卷積處理；

第十一層為池化層：對(duì)第七至第十層為卷積層的結(jié)果進(jìn)行下采樣處理；

第十二層和第十三層為卷積層：將第十一層的圖像進(jìn)行兩層卷積處理，得到輸入圖像的特征圖；

步驟2.1.2：將步驟2.1.1得到的輸入圖像的特征圖輸入卷積神經(jīng)網(wǎng)絡(luò)的雙通道階段，得到不同類型關(guān)節(jié)點(diǎn)的熱點(diǎn)圖S和關(guān)節(jié)點(diǎn)之間的方向向量場(chǎng)熱點(diǎn)圖L，關(guān)節(jié)點(diǎn)的熱點(diǎn)圖S表示出一副圖像中所有的關(guān)節(jié)點(diǎn)的位置信息，方向向量場(chǎng)熱點(diǎn)圖L有表示各個(gè)關(guān)節(jié)點(diǎn)之間的關(guān)聯(lián)程度，由若干2D向量組成，2D向量的方向代表了關(guān)節(jié)連接成骨骼的方向；

步驟2.1.3：通過(guò)對(duì)于神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到的結(jié)果與真實(shí)數(shù)據(jù)之間的誤差，利用反向傳播算法，調(diào)整神經(jīng)網(wǎng)絡(luò)的參數(shù)，使得神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到的結(jié)果最接近標(biāo)注數(shù)據(jù)的真實(shí)結(jié)果，從而得到訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型。

8.如權(quán)利要求6所述的多目標(biāo)人體2D姿態(tài)實(shí)時(shí)檢測(cè)方法，其特征在于，所述步驟2.3包括：

步驟2.3.1：將預(yù)測(cè)得到的關(guān)節(jié)點(diǎn)的熱點(diǎn)圖S和關(guān)節(jié)點(diǎn)之間的方向向量場(chǎng)熱點(diǎn)圖L轉(zhuǎn)化成圖論里求解最大權(quán)重K分圖匹配問(wèn)題，不同類型關(guān)節(jié)點(diǎn)的熱點(diǎn)圖S為K分圖的節(jié)點(diǎn)，關(guān)節(jié)點(diǎn)之間的方向向量場(chǎng)熱點(diǎn)圖L代表二分圖的邊的權(quán)重，其中K代表不同關(guān)節(jié)類型的個(gè)數(shù)；

步驟2.3.2：利用貪心算法簡(jiǎn)化最大權(quán)重二分圖匹配問(wèn)題：根據(jù)人體關(guān)節(jié)的實(shí)際連接情況簡(jiǎn)化問(wèn)題，將K分圖的匹配問(wèn)題化解成多個(gè)最大權(quán)重二分圖匹配問(wèn)題；

步驟2.3.3：利用匈牙利算法求解所述最大權(quán)重二分圖匹配問(wèn)題，把所有的關(guān)節(jié)點(diǎn)按照求解的結(jié)果連在一起，獲得整的人體姿態(tài)信息。