[發(fā)明專利]基于深度融合神經(jīng)網(wǎng)絡(luò)行人重識(shí)別技術(shù)的智能監(jiān)控方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201910330924.0
• 申請(qǐng)日: 2019-04-23
• 公開(kāi)（公告）號(hào): CN110046599A
• 公開(kāi)（公告）日: 2019-07-23
• 發(fā)明（設(shè)計(jì)）人: 梁子;華如照;張?jiān)?/a>;遲劍寧;王文浩
• 申請(qǐng)（專利權(quán)）人: 東北大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/46;G06K9/62;G06N3/04
• 代理公司: 大連東方專利代理有限責(zé)任公司 21212
• 代理人: 李馨

1.一種基于深度融合神經(jīng)網(wǎng)絡(luò)行人重識(shí)別技術(shù)的智能監(jiān)控方法，其特征在于，包括如下步驟：

S1、從監(jiān)控視頻中逐幀獲取圖像；

S2、對(duì)圖像進(jìn)行色彩增強(qiáng)的預(yù)處理，之后，將其發(fā)送至提取手工特征的局部最大值結(jié)構(gòu)和提取深度特征的神經(jīng)網(wǎng)絡(luò)中；

S3A、提取傳統(tǒng)手工特征，具體為：使用局部最大池化算法提取特征向量，使用預(yù)設(shè)尺度的方格以一定步長(zhǎng)遍歷整張圖片，并對(duì)每個(gè)方格里的圖像提取顏色特征和紋理特征，然后對(duì)整個(gè)特征向量進(jìn)行降維處理；

S3B、使用深度殘差卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像進(jìn)行提取和高斯池化；

S4、將降維之后的傳統(tǒng)手工特征和訓(xùn)練完好的神經(jīng)網(wǎng)絡(luò)提取到的深度特征進(jìn)行融合，完成對(duì)目標(biāo)行人的識(shí)別；

S5、對(duì)識(shí)別到的行人進(jìn)行跟蹤，并在跟蹤置信度降低至某一個(gè)閾值時(shí)重復(fù)上述流程進(jìn)行重識(shí)別，同時(shí)，對(duì)識(shí)別的結(jié)果進(jìn)行預(yù)設(shè)樣式的標(biāo)注顯示。

2.根據(jù)權(quán)利要求1所述的基于深度融合神經(jīng)網(wǎng)絡(luò)行人重識(shí)別技術(shù)的智能監(jiān)控方法，其特征在于，所述色彩增強(qiáng)的預(yù)處理具體為：使用多尺度圖像增強(qiáng)算法分別使用三種不同尺度的高斯參數(shù)對(duì)得到的圖像進(jìn)行色彩增強(qiáng)。

3.根據(jù)權(quán)利要求2所述的基于深度融合神經(jīng)網(wǎng)絡(luò)行人重識(shí)別技術(shù)的智能監(jiān)控方法，其特征在于，所述傳統(tǒng)手工特征的提取中，顏色特征的提取包括：將進(jìn)行過(guò)預(yù)處理的圖像由RGB轉(zhuǎn)化為HSV顏色空間，并在此基礎(chǔ)上得到圖像的顏色直方圖；紋理特征的提取具體為使用尺度不變的三值模式編碼技術(shù)提取，所述降維處理具體為：使用高斯池化，將數(shù)據(jù)以預(yù)設(shè)大小進(jìn)行切塊，之后分別獲取切塊數(shù)據(jù)的原點(diǎn)矩和中心矩以表示塊中數(shù)據(jù)，從而實(shí)現(xiàn)對(duì)整個(gè)特征向量的降維。

4.根據(jù)權(quán)利要求2所述的基于深度融合神經(jīng)網(wǎng)絡(luò)行人重識(shí)別技術(shù)的智能監(jiān)控方法，其特征在于，所述S3B具體為：動(dòng)態(tài)模糊神經(jīng)網(wǎng)絡(luò)將預(yù)處理后的圖像隨機(jī)切除，之后重新調(diào)節(jié)至預(yù)設(shè)尺寸，并傳入到深度神經(jīng)網(wǎng)絡(luò)ResNet50中，輸入圖像依次通過(guò)卷積層、局部歸一化層、修正線性激活函數(shù)、最大池化的處理，之后進(jìn)入卷積模塊進(jìn)行降維處理，每經(jīng)過(guò)一個(gè)降維模塊，圖像的尺寸都會(huì)減少2*2。

5.根據(jù)權(quán)利要求1～4任一項(xiàng)所述的基于深度融合神經(jīng)網(wǎng)絡(luò)行人重識(shí)別技術(shù)的智能監(jiān)控方法，其特征在于，所述S4具體為：使用4096維度的全連接融合層分別連接兩個(gè)向量的輸出，之后進(jìn)行正則化、批量歸一化、非線性激活等操作，最后連接至分類器，采用softmax函數(shù)接受結(jié)果并給出預(yù)測(cè)值，從而完成對(duì)目標(biāo)行人的識(shí)別。

6.根據(jù)權(quán)利要求5所述的基于深度融合神經(jīng)網(wǎng)絡(luò)行人重識(shí)別技術(shù)的智能監(jiān)控方法，其特征在于，所述步驟S4具體包括如下步驟：

S41、將降維之后的傳統(tǒng)手工特征和訓(xùn)練完好的神經(jīng)網(wǎng)絡(luò)提取到的深度特征進(jìn)行融合，融合后總的特征表示為：

F_z＝[F_h，F(xiàn)_d]

其中，F(xiàn)_d為從ResNet50模型中得到的深度特征向量，F(xiàn)_h為經(jīng)過(guò)高斯池化降維之后的傳統(tǒng)手工特征；

S42、將傳統(tǒng)手工特征連接到拼接層中，依次連接批量歸一化、非線性激活函數(shù)后進(jìn)行分類器的連接操作，具體表示為：

式中h(·)代表激活函數(shù)，和b_f表示連接層的權(quán)重系數(shù)和遷移向量，

μ_z和σ_z代表均值和方差的特性，之后連接至分類器，此處使用softmax結(jié)構(gòu)作為分類的一層，具體為：

其中，x表示上一層神經(jīng)網(wǎng)絡(luò)的輸出構(gòu)成的向量，θ為經(jīng)過(guò)訓(xùn)練得到的形參向量，分母的存在是為了對(duì)預(yù)測(cè)輸出進(jìn)行歸一化。

利用交叉熵?fù)p失函數(shù)，記交叉熵?fù)p失為J，則有

其中，p_k表示第k個(gè)輸出所對(duì)應(yīng)的softmax輸出值(也可理解為神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)為k結(jié)果的概率)。