[發(fā)明專(zhuān)利]基于目標(biāo)檢測(cè)和人體姿態(tài)估計(jì)的坐姿檢測(cè)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201810357864.7
• 申請(qǐng)日: 2018-04-20
• 公開(kāi)（公告）號(hào): CN108549876A
• 公開(kāi)（公告）日: 2018-09-18
• 發(fā)明（設(shè)計(jì)）人: 高陳強(qiáng);湯林;陳旭;汪瀾;韓慧
• 申請(qǐng)（專(zhuān)利權(quán)）人: 重慶郵電大學(xué)
• 主分類(lèi)號(hào): G06K9/00
• 分類(lèi)號(hào): G06K9/00;G06K9/32;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 重慶輝騰律師事務(wù)所 50215
• 代理人: 王海軍

1.基于目標(biāo)檢測(cè)和人體姿態(tài)估計(jì)的坐姿檢測(cè)方法，其特征在于，利用卷積神經(jīng)網(wǎng)絡(luò)CNN進(jìn)行坐姿檢測(cè)，且輸入到CNN中的融合特征提取包括如下步驟：

S1：對(duì)原始圖像進(jìn)行人工標(biāo)注，標(biāo)注信息包括包圍框Bounding Box、坐姿類(lèi)別和關(guān)節(jié)點(diǎn)坐標(biāo)；

S2：將原始圖像輸入到目標(biāo)檢測(cè)網(wǎng)絡(luò)，利用Bounding Box信息截取出單人目標(biāo)圖像；

S3：將單人目標(biāo)圖像按坐姿類(lèi)別進(jìn)行關(guān)節(jié)點(diǎn)標(biāo)記，再將標(biāo)記的單人目標(biāo)圖像輸入到卷積神經(jīng)網(wǎng)絡(luò)，提取最后一個(gè)卷積層輸出的深度神經(jīng)網(wǎng)絡(luò)特征作為特征I；

S4：將關(guān)節(jié)點(diǎn)坐標(biāo)信息和Bounding Box信息輸入到多人姿態(tài)估計(jì)網(wǎng)絡(luò)，然后對(duì)原始圖像做多人姿態(tài)估計(jì)，并將多人姿態(tài)估計(jì)圖截取為單人人體骨架圖；

S5：將單人人體骨架圖輸入到卷積神經(jīng)網(wǎng)絡(luò)，提取最后一個(gè)卷積層輸出的深度神經(jīng)網(wǎng)絡(luò)特征作為特征II；

S6：將特征I和特征II進(jìn)行融合。

2.如權(quán)利要求1所述的基于目標(biāo)檢測(cè)和人體姿態(tài)估計(jì)的坐姿檢測(cè)方法，其特征在于，還包括步驟S7：將融合后的特征輸入CNN中，若融合特征來(lái)自于訓(xùn)練集，則用于訓(xùn)練網(wǎng)絡(luò)參數(shù)；若融合特征來(lái)自驗(yàn)證集，則用于驗(yàn)證網(wǎng)絡(luò)參數(shù)，并通過(guò)反向傳播算法傳遞誤差信號(hào)，更新梯度，尋找最優(yōu)值，利用柔性最大激活函數(shù)Softmax做分類(lèi)回歸，得到最終的分類(lèi)結(jié)果和分類(lèi)準(zhǔn)確率。

3.如權(quán)利要求1所述的基于目標(biāo)檢測(cè)和人體姿態(tài)估計(jì)的坐姿檢測(cè)方法，其特征在于，步驟S2具體包括：

所述目標(biāo)檢測(cè)網(wǎng)絡(luò)采用Faster RCNN網(wǎng)絡(luò)，F(xiàn)aster RCNN網(wǎng)絡(luò)由一個(gè)候選區(qū)域網(wǎng)絡(luò)RPN和一個(gè)Fast RCNN網(wǎng)絡(luò)組成級(jí)聯(lián)網(wǎng)絡(luò)；在第一個(gè)階段利用RPN在原始圖像中選擇出推薦區(qū)域，在第二個(gè)階段利用Fast RCNN對(duì)推薦區(qū)域內(nèi)的目標(biāo)進(jìn)一步細(xì)分，截取出單人目標(biāo)圖像。

4.如權(quán)利要求3所述的基于目標(biāo)檢測(cè)和人體姿態(tài)估計(jì)的坐姿檢測(cè)方法，其特征在于，所述利用RPN在原始圖像中選擇推薦區(qū)域，具體包括：

對(duì)人工標(biāo)注的Bounding Box包圍區(qū)域進(jìn)行采樣，且采樣區(qū)域?yàn)檎龢颖緟^(qū)域時(shí)選擇該采樣區(qū)域?yàn)橥扑]區(qū)域；所述正樣本區(qū)域是指采樣區(qū)域與Bounding Box包圍區(qū)域的重疊率大于閾值時(shí)，該采樣區(qū)域?yàn)檎龢颖緟^(qū)域，閾值為0.6～0.9。

5.如權(quán)利要求4所述的基于目標(biāo)檢測(cè)和人體姿態(tài)估計(jì)的坐姿檢測(cè)方法，其特征在于，所述采樣區(qū)域與Bounding Box包圍區(qū)域的重疊率計(jì)算公式為：

其中：area(r_g)為Bounding Box包圍區(qū)域，area(r_n)為采樣區(qū)域。

6.如權(quán)利要求1所述的基于目標(biāo)檢測(cè)和人體姿態(tài)估計(jì)的坐姿檢測(cè)方法，其特征在于，步驟S3具體包括：

根據(jù)坐姿類(lèi)別給單人目標(biāo)圖像賦予標(biāo)簽，將標(biāo)記的單人目標(biāo)圖像分為訓(xùn)練子集I和驗(yàn)證子集I，在CNN分類(lèi)網(wǎng)絡(luò)中輸入為40×40像素的三通道單人目標(biāo)圖像，包含三個(gè)卷積層和對(duì)應(yīng)的非線(xiàn)性激活單元，前兩個(gè)卷積層用來(lái)表示圖像的高水平特征，最后一個(gè)卷積層用來(lái)產(chǎn)生高層次的特征反應(yīng)，提取最后一個(gè)卷積層產(chǎn)生的特征圖作為與后續(xù)階段融合的特征，即特征I。

7.如權(quán)利要求1所述的基于目標(biāo)檢測(cè)和人體姿態(tài)估計(jì)的坐姿檢測(cè)方法，其特征在于：步驟S4具體包括：

多人姿態(tài)估計(jì)采用G-RMI方法，第一階段用Faster RCNN網(wǎng)絡(luò)檢測(cè)原始圖像中的多個(gè)人，并對(duì)Bounding Box覆蓋區(qū)域進(jìn)行截取；第二個(gè)階段采用基于全卷積網(wǎng)絡(luò)的殘差網(wǎng)絡(luò)Resnet對(duì)Bounding Box覆蓋區(qū)域中的每一個(gè)人物預(yù)測(cè)密集熱圖Dense Heatmap和補(bǔ)償Offset；最后通過(guò)Dense Heatmap和Offset的融合得到關(guān)鍵點(diǎn)的精確定位，從而得到單人人體骨架圖。