[發(fā)明專利]基于視頻監(jiān)控圖像處理的人數(shù)統(tǒng)計(jì)系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201811197134.1
• 申請(qǐng)日: 2018-10-15
• 公開（公告）號(hào): CN109376637B
• 公開（公告）日: 2021-03-02
• 發(fā)明（設(shè)計(jì)）人: 王磊;孔得越
• 申請(qǐng)（專利權(quán)）人: 齊魯工業(yè)大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62
• 代理公司: 濟(jì)南圣達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 37221
• 代理人: 黃海麗

1.基于視頻監(jiān)控圖像處理的人數(shù)統(tǒng)計(jì)系統(tǒng)，其特征是，包括：存儲(chǔ)器、處理器以及存儲(chǔ)在存儲(chǔ)器上并在處理器上運(yùn)行的計(jì)算機(jī)指令，所述計(jì)算機(jī)指令被處理器運(yùn)行時(shí)，完成以下步驟：

構(gòu)建人臉檢測器模型：人臉檢測器模型包括：第一卷積神經(jīng)網(wǎng)絡(luò)、第二卷積神經(jīng)網(wǎng)絡(luò)和第三卷積神經(jīng)網(wǎng)絡(luò)；三個(gè)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行并聯(lián)，三個(gè)并聯(lián)的卷積神經(jīng)網(wǎng)絡(luò)的輸出端均連接到一個(gè)輸出層上；

訓(xùn)練三個(gè)卷積神經(jīng)網(wǎng)絡(luò)：對(duì)三個(gè)卷積神經(jīng)網(wǎng)絡(luò)分別采用對(duì)應(yīng)尺寸的人臉圖像進(jìn)行訓(xùn)練；

人臉檢測：選取一幀待檢測場景的圖像，對(duì)所選取的圖像按照設(shè)定尺寸進(jìn)行放大處理和縮小處理；得到三張圖像：經(jīng)放大處理后的圖像、經(jīng)縮小處理后的圖像和原始圖像；將三張圖像均輸入到一個(gè)區(qū)域候選網(wǎng)絡(luò)RPN后得到所有候選檢測框，所有候選檢測框分別送給所述的人臉檢測器模型，輸出每個(gè)檢測框是人臉的概率，如果概率超過設(shè)定閾值則判定為人臉，并標(biāo)記當(dāng)前檢測框，最終返回三張圖像的檢測結(jié)果，每一張輸出圖像均帶有所有的人臉檢測框；

對(duì)每一個(gè)待識(shí)別候選窗口用3個(gè)獨(dú)立同結(jié)構(gòu)的CNN進(jìn)行識(shí)別，3個(gè)CNN分別用3種尺度的人臉數(shù)據(jù)集訓(xùn)練得到的，權(quán)重參數(shù)不同，分別用于針對(duì)不同尺度的人臉；把3個(gè)CNN多個(gè)層的輸出中提取的卷積深度特征串聯(lián)作為該候選窗口的特征，該特征同時(shí)包含大尺度上的高分辨率細(xì)節(jié)線索和模糊的低分辨率概貌線索；整幅圖像的所有候選窗口的特征最終通過一個(gè)輸出層，得到所有位置的響應(yīng)結(jié)果；

帶有人臉檢測框的三張圖像通過輸出層映射到原始圖像上，從而每一個(gè)人臉包括至少一個(gè)檢測框；采用非極大值抑制算法對(duì)每一個(gè)人臉的所有檢測框進(jìn)行篩選，保留最優(yōu)的人臉檢測框，獲得最終的人臉檢測結(jié)果；

對(duì)第M幀圖像采用人臉檢測器模型進(jìn)行人臉檢測，得到一個(gè)人臉列表，所述人臉列表包括：第M幀圖像的所有人臉位置、所有人臉尺寸和所有人臉計(jì)數(shù)總和；

將第M+N幀圖像的人臉與第M幀圖像的人臉進(jìn)行匹配，N表示計(jì)數(shù)更新區(qū)間；以第M幀圖像為參考圖像，以第M+N幀圖像為待匹配圖像；判斷第M+N幀圖像的人臉與第M幀圖像的人臉是否一一匹配，如果一一匹配，則認(rèn)為人臉計(jì)數(shù)不變；否則，認(rèn)為人臉數(shù)量有更新，更新人臉列表；

人臉進(jìn)行匹配的步驟：

采用回歸樹ERT算法分別對(duì)第M幀圖像和第M+N圖像的人臉進(jìn)行人臉對(duì)齊；

采用預(yù)訓(xùn)練的Facenet神經(jīng)網(wǎng)絡(luò)對(duì)人臉對(duì)齊后的第M幀圖像和第M+N圖像所有人臉圖像進(jìn)行特征提取，將所有人臉圖像均映射到128維向量空間，得到人臉的特征向量；

將第M幀的人臉圖像的人臉特征向量和第M+N幀人臉圖像的人臉特征向量均輸入到SVM分類器中，輸出第M幀圖像和第M+N幀圖像的人臉匹配的結(jié)果；

用于訓(xùn)練SVM分類器所用樣本的構(gòu)造：當(dāng)前待匹配人臉S_j的正樣本：來自實(shí)時(shí)采集的第M幀圖像，按照S_j的位置和大小在第M+1和M+2幀截取同樣位置和大小的矩形區(qū)域也作為正樣本；通過添加高斯噪聲、幾何形變、翻轉(zhuǎn)或剪切對(duì)三個(gè)幀的正樣本進(jìn)行調(diào)整，得到20個(gè)正樣本；當(dāng)前待匹配人臉S_j的負(fù)樣本為：隨機(jī)抽取的第M幀圖像中除S_j的其他20張人臉圖片。

2.如權(quán)利要求1所述的基于視頻監(jiān)控圖像處理的人數(shù)統(tǒng)計(jì)系統(tǒng)，其特征是，將第M幀的人臉圖像的人臉特征向量和第M+N幀人臉圖像的人臉特征向量均輸入到SVM分類器中，輸出第M幀圖像和第M+N幀圖像的人臉匹配的結(jié)果：

訓(xùn)練SVM分類器；

設(shè)首幀中得到的人臉列表為L＝{S₁…S_j…S_M}，其中，S_j為第j個(gè)人臉，M是人臉個(gè)數(shù)；

在第M+N幀得到的人臉列表為L’＝{S’₁…S’_k…S’_N}，其中，S’_k為第k個(gè)人臉，N是人臉個(gè)數(shù)；

假設(shè)當(dāng)前待匹配人臉為S_j＝(x,y,w,h)，其中，(x,y)代表人臉位置坐標(biāo)，(w,h)代表人臉尺寸寬和高；那么在第M+N幀中只在(x+Δw,y+Δh)的范圍內(nèi)做匹配，Δw和Δh分別表示橫向和縱向的擴(kuò)展的范圍尺寸。

3.如權(quán)利要求2所述的基于視頻監(jiān)控圖像處理的人數(shù)統(tǒng)計(jì)系統(tǒng)，其特征是，如果視頻背景是運(yùn)動(dòng)的，則加大匹配范圍參數(shù)(Δw,Δh)。