[發(fā)明專利]基于視頻監(jiān)控圖像處理的人數(shù)統(tǒng)計(jì)系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201811197134.1
• 申請(qǐng)日: 2018-10-15
• 公開（公告）號(hào): CN109376637B
• 公開（公告）日: 2021-03-02
• 發(fā)明（設(shè)計(jì)）人: 王磊;孔得越
• 申請(qǐng)（專利權(quán)）人: 齊魯工業(yè)大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62
• 代理公司: 濟(jì)南圣達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 37221
• 代理人: 黃海麗

本申請(qǐng)實(shí)施例公開了基于視頻監(jiān)控圖像處理的人數(shù)統(tǒng)計(jì)系統(tǒng)，包括：存儲(chǔ)器、處理器以及存儲(chǔ)在存儲(chǔ)器上并在處理器上運(yùn)行的計(jì)算機(jī)指令，所述計(jì)算機(jī)指令被處理器運(yùn)行時(shí)，完成以下步驟：對(duì)三個(gè)卷積神經(jīng)網(wǎng)絡(luò)分別采用對(duì)應(yīng)尺寸的人臉圖像進(jìn)行訓(xùn)練；將經(jīng)過(guò)訓(xùn)練的三個(gè)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行并聯(lián)，三個(gè)并聯(lián)的卷積神經(jīng)網(wǎng)絡(luò)的輸出端均連接到同一個(gè)輸出層；將經(jīng)過(guò)縮放處理的三張圖像均輸入到每個(gè)卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行檢測(cè)，三個(gè)并聯(lián)的卷積神經(jīng)網(wǎng)絡(luò)均將各自輸出的帶有人臉檢測(cè)框的三張圖像通過(guò)輸出層映射到原始圖像上，從而每一個(gè)人臉包括若干個(gè)檢測(cè)框；采用非極大值抑制算法對(duì)每一個(gè)人臉的若干個(gè)檢測(cè)框進(jìn)行篩選，保留最優(yōu)的人臉檢測(cè)框，獲得最終的人臉檢測(cè)結(jié)果。

技術(shù)領(lǐng)域

本申請(qǐng)實(shí)施例涉及計(jì)算機(jī)視覺(jué)領(lǐng)域，尤其涉及基于視頻監(jiān)控圖像處理的人數(shù)統(tǒng)計(jì)系統(tǒng)。

背景技術(shù)

視頻監(jiān)控是利用計(jì)算機(jī)視覺(jué)技術(shù)對(duì)視頻信號(hào)進(jìn)行處理、分析和理解，在不需要人為干預(yù)的情況下，通過(guò)對(duì)序列圖像自動(dòng)分析對(duì)監(jiān)控場(chǎng)景中的目標(biāo)進(jìn)行定位、識(shí)別和跟蹤等。隨著經(jīng)濟(jì)的發(fā)展，各種教學(xué)、辦公、休閑場(chǎng)所越來(lái)越多，人群的活動(dòng)越來(lái)越頻繁，如何在特定區(qū)域內(nèi)中自動(dòng)對(duì)人員進(jìn)行檢測(cè)并統(tǒng)計(jì)人數(shù)是智能視頻監(jiān)控領(lǐng)域中的一個(gè)重要和熱門課題。有效掌握實(shí)時(shí)的人數(shù)信息，對(duì)于人流控制，公共空間設(shè)計(jì)，意外事件控制等非常重要。比如統(tǒng)計(jì)課堂、會(huì)議等人員數(shù)量，不僅免除課堂、會(huì)議口頭點(diǎn)名、手動(dòng)簽到等繁瑣，也更利于學(xué)校對(duì)學(xué)生到課率情況的整體了解，學(xué)生在去自習(xí)前可以先查詢哪些教室有空位來(lái)決定去哪自習(xí)，避免盲目的在教學(xué)樓尋找而耽誤時(shí)間等等。

目前現(xiàn)有的監(jiān)控視頻人數(shù)統(tǒng)計(jì)系統(tǒng)大致有兩大類：一類方法是在特定出入口安裝視頻采集設(shè)備，對(duì)過(guò)往行人等進(jìn)行目標(biāo)檢測(cè)，連續(xù)視頻隨時(shí)間出現(xiàn)目標(biāo)增減計(jì)數(shù)這類應(yīng)用場(chǎng)景在同時(shí)出入人數(shù)較少的情況下較為容易實(shí)現(xiàn)，而在沒(méi)有特定出入口的開放式場(chǎng)所就無(wú)能為力了，同時(shí)對(duì)視野較大且人數(shù)過(guò)多的情況也很難做到精確計(jì)數(shù)。另一類人數(shù)監(jiān)控系統(tǒng)主要針對(duì)大視野，目標(biāo)密集(百人甚至千人以上)場(chǎng)景，不做單個(gè)目標(biāo)檢測(cè)，而是做基于單幀的人群密度估計(jì)，也就是做非精確計(jì)數(shù)，因而也無(wú)法對(duì)連續(xù)視頻中出現(xiàn)目標(biāo)增減計(jì)數(shù)。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例的目的主要針對(duì)較大視野，且人數(shù)較多(百人以上)場(chǎng)景下，如大型教室、會(huì)議室等，監(jiān)控視頻做人數(shù)統(tǒng)計(jì)，且不限定視頻背景是固定的，也就是說(shuō)對(duì)帶有云臺(tái)裝置的監(jiān)控?cái)z像頭拍攝的背景變化的視頻也同樣可以做到統(tǒng)計(jì)整段視頻內(nèi)出現(xiàn)的人數(shù)。

為了解決上述技術(shù)問(wèn)題，本申請(qǐng)實(shí)施例提出基于視頻監(jiān)控圖像處理的人數(shù)統(tǒng)計(jì)系統(tǒng)；

基于視頻監(jiān)控圖像處理的人數(shù)統(tǒng)計(jì)系統(tǒng)，包括：存儲(chǔ)器、處理器以及存儲(chǔ)在存儲(chǔ)器上并在處理器上運(yùn)行的計(jì)算機(jī)指令，所述計(jì)算機(jī)指令被處理器運(yùn)行時(shí)，完成以下步驟：

構(gòu)建人臉檢測(cè)器模型：人臉檢測(cè)器模型包括：包含第一卷積神經(jīng)網(wǎng)絡(luò)、第二卷積神經(jīng)網(wǎng)絡(luò)和第三卷積神經(jīng)網(wǎng)絡(luò)；三個(gè)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行并聯(lián)，三個(gè)并聯(lián)的卷積神經(jīng)網(wǎng)絡(luò)的輸出端均連接到一個(gè)輸出層上；

訓(xùn)練三個(gè)卷積神經(jīng)網(wǎng)絡(luò)：對(duì)三個(gè)卷積神經(jīng)網(wǎng)絡(luò)分別采用對(duì)應(yīng)尺寸的人臉圖像進(jìn)行訓(xùn)練；

人臉檢測(cè)：選取一幀待檢測(cè)場(chǎng)景的圖像，對(duì)所選取的圖像按照設(shè)定尺寸進(jìn)行放大處理和縮小處理；得到三張圖像：經(jīng)放大處理后的圖像、經(jīng)縮小處理后的圖像和原始圖像；將三張圖像均輸入到一個(gè)區(qū)域候選網(wǎng)絡(luò)RPN后得到所有候選檢測(cè)框，所有候選檢測(cè)框分別送給所述的人臉檢測(cè)器模型，輸出每個(gè)檢測(cè)框是人臉的概率，如果概率超過(guò)設(shè)定閾值則判定為人臉，并標(biāo)記當(dāng)前檢測(cè)框，最終返回三張圖像的檢測(cè)結(jié)果，每一張輸出圖像均帶有所有的人臉檢測(cè)框；

帶有人臉檢測(cè)框的三張圖像通過(guò)輸出層映射到原始圖像上，從而每一個(gè)人臉包括至少一個(gè)檢測(cè)框；采用非極大值抑制算法對(duì)每一個(gè)人臉的所有檢測(cè)框進(jìn)行篩選，保留最優(yōu)的人臉檢測(cè)框，獲得最終的人臉檢測(cè)結(jié)果。

可選的，在一種實(shí)現(xiàn)方式中，對(duì)第M幀圖像采用人臉檢測(cè)器模型進(jìn)行人臉檢測(cè)，得到一個(gè)人臉列表，所述人臉列表包括：第M幀圖像的所有人臉位置、所有人臉尺寸和所有人臉計(jì)數(shù)總和。