[發(fā)明專利]一種高準(zhǔn)確率的基于卷積神經(jīng)網(wǎng)絡(luò)的人體多部位識(shí)別方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201610056618.9
• 申請(qǐng)日: 2016-01-27
• 公開（公告）號(hào): CN105740892A
• 公開（公告）日: 2016-07-06
• 發(fā)明（設(shè)計(jì)）人: 劉波;張恒瑜
• 申請(qǐng)（專利權(quán)）人: 北京工業(yè)大學(xué)
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62
• 代理公司: 北京思海天達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 11203
• 代理人: 沈波

技術(shù)領(lǐng)域

本發(fā)明涉及模式識(shí)別與深度學(xué)習(xí)領(lǐng)域，特別是一種高準(zhǔn)確率的基于卷積神經(jīng)網(wǎng)絡(luò)的人體多部位識(shí)別方法。

背景技術(shù)

人體識(shí)別是計(jì)算機(jī)視覺的一大熱點(diǎn)。在過去，人體識(shí)別的大多基于低層次的特征因子和高層次的上下文。SIFT算子和HOG算子便是這其中的常用算子，他們都是基于低層次的方向直方圖得來(lái)的，但圖像的特征是分層的并且是逐層推進(jìn)的，所以，LeCun等人在Rumelhart等人的研究基礎(chǔ)上提出了基于反向傳播進(jìn)行隨機(jī)梯度下降算法的卷積神經(jīng)網(wǎng)絡(luò)(CNN)的訓(xùn)練方法并在當(dāng)時(shí)得到了相當(dāng)?shù)闹匾暥以谟?jì)算機(jī)視覺領(lǐng)域形成了新的認(rèn)知。

雖然CNN在90年代得到了廣泛的應(yīng)用，但是后來(lái)還是被支持向量機(jī)(SVM)超越，直到2012年Krizhevsky等人在ImageNetLargeScaleVisualRecognitionChallenge(ILSVRC)上的巨大成功才將大眾的視野拉回到CNN上來(lái)，該算法的成功主要在(1)大數(shù)量級(jí)的標(biāo)注數(shù)據(jù)(2)對(duì)LeCun網(wǎng)絡(luò)結(jié)構(gòu)的改進(jìn)：激活函數(shù)采用f(x)＝max(0，x)來(lái)提高速度和采用dropout減少過擬合。

雖然CNN在識(shí)別領(lǐng)域取得了驕人的成績(jī)，但是CNN做的工作多是分類，而對(duì)于識(shí)別中的另一個(gè)工作——定位涉及較少。RCNN的提出極大地結(jié)合了卷積神經(jīng)網(wǎng)絡(luò)和多種機(jī)器學(xué)習(xí)算法，化解了識(shí)別與定位之間的鴻溝。

人體多部位識(shí)別不僅僅需要識(shí)別出整個(gè)人體，還需要對(duì)人體的各個(gè)部位進(jìn)行定位，最終形成對(duì)每個(gè)人體和其相應(yīng)部位的整體理解。如何建立隨動(dòng)作姿勢(shì)和視角變化還能保持較高準(zhǔn)確率的整體和各個(gè)部位的關(guān)聯(lián)模型稱為了重中之重，在過去的方法中，Poselets和DPM等幾何約束算法取得了較好的成果，但這些成果大多基于給定的整體邊框來(lái)定位各個(gè)部位的位置，所以以上方法也需要進(jìn)一步的改進(jìn)。

發(fā)明內(nèi)容

本發(fā)明提供一種高準(zhǔn)確率的基于卷積神經(jīng)網(wǎng)絡(luò)的人體多部位識(shí)別方法。本發(fā)明中采用深度卷積神經(jīng)網(wǎng)絡(luò)提取圖像特征，這種方法充分利用了圖像的深度信息，極大的提高了圖像的識(shí)別準(zhǔn)確率；其次，基于RCNN方法利用SelectiveSearch算法形成候選邊框，比滑動(dòng)窗口方法更能適應(yīng)深度卷積網(wǎng)絡(luò)下定位信息的準(zhǔn)確性；進(jìn)一步的，通過將卷積神經(jīng)網(wǎng)絡(luò)的最后一層Softmax層替換成SVM，最終獲得了基于分類的得分；另外，獲得各個(gè)候選邊框的相對(duì)于各個(gè)類別的SVM得分后，通過添加基于像素的位置范圍約束、K近鄰約束和混合高斯模型最終形成基于整體理解的候選邊框組合，提高了人體多部位識(shí)別的準(zhǔn)確率，比原有RCNN的方法定位更加精準(zhǔn)。

本發(fā)明采用如下技術(shù)方案：

一種高準(zhǔn)確率的基于卷積神經(jīng)網(wǎng)絡(luò)的人體多部位識(shí)別方法，如圖1所示，包括SelectiveSearch圖像分割算法，深層卷積神經(jīng)網(wǎng)絡(luò)，基于深層特征訓(xùn)練出的支持向量機(jī)和三種空間幾何約束(空間像素范圍約束，K近鄰約束，混合高斯模型約束)。當(dāng)輸入一幅RGB圖像，首先通過SelectiveSearch算法生成大約2000個(gè)候選邊框，然后通過卷積神經(jīng)網(wǎng)絡(luò)計(jì)算這些候選邊框的全相連層特征，之后通過全相連層特征進(jìn)一步計(jì)算其支持向量機(jī)的分類得分，再然后假定每一個(gè)候選邊框都為人體整體邊框并通過空間幾何約束計(jì)算其相應(yīng)的部位邊框和該邊框組合的得分，最后通過非最大化抑制和閾值的限制獲得最終的邊框組合并顯示出來(lái)。

所述的SelectiveSearch算法是一種基于分層區(qū)域合并的圖像分割方法，本發(fā)明中采用SelectiveSearch的快速模式，平均每張圖片會(huì)產(chǎn)生大約2000個(gè)尺寸不一的候選區(qū)域邊框，此算法的優(yōu)點(diǎn)是采用多元策略集以便適應(yīng)幾乎所用情況將小區(qū)域合并在一起形成分層區(qū)域合并的邊框范圍，另一個(gè)優(yōu)點(diǎn)是計(jì)算速度快。其中，區(qū)域的合并方式是有層次的、類似于哈夫曼樹的構(gòu)造過程，通過使用EfficientGraph-BasedImageSegmentation的方法獲取原始分割區(qū)域并通過計(jì)算相似度不斷對(duì)區(qū)域進(jìn)行合并。計(jì)算相似度時(shí)該算法還充分從顏色、紋理、大小等方面考慮，并將以上方面進(jìn)行加權(quán)得分。