[發明專利]適于大景深的人群特征識別網絡構建及訓練方法

在審

• 申請號: 202011484694.2
• 申請日: 2020-12-16
• 公開（公告）號: CN112633106A
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 田青;唐紹鵬
• 申請（專利權）人: 蘇州玖合智能科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京科闊知識產權代理事務所(普通合伙) 32400
• 代理人: 蘇興建

一種適于大景深的人群特征識別網絡構建及訓練方法，網絡包括：前端網絡采用剔除了全連接層的VGG?16網絡，并且采用3×3的卷積核；前端的VGG?16網絡中，進行了三次最大池化，用以降低特征圖的分辨率；后端網絡為三層分支網絡，它們分別采用空洞率為2和3的空洞卷積。網絡的訓練步驟包括：1)生成密度圖，2)損失函數，3)評估標準。本方案中，加入先驗信息的loss：在網絡訓練時，使用L2距離作為損失函數，傳統L2距離作為損失函數存在高估低密度區人群、低估高密度去人群的問題，使用分塊計算損失函數的方法，大大減小了這個問題帶來的誤差，有效的提升了計數準確率。

技術領域

本發明涉及計算機視覺中的人群計數領域，具體是一種基于卷積神經網絡、針對大景深人群特征的模型構建及訓練方法。

背景技術

人群計數的主要任務是從圖像中識別人群特征，準確的計算出圖像中的人群數量。早期的人群計數分為基于檢測和基于回歸的方法。在基于檢測的方法中，使用一個滑動窗口檢測器來檢測場景中人群，并統計相應的人數。基于檢測的方法主要分為兩大類，一種是基于整體的檢測，另一種是基于部分身體的檢測。基于整體的檢測方法，例如，典型的傳統方法，主要訓練一個分類器，利用從行人全身提取的小波，HOG，邊緣等特征去檢測行人。學習算法主要有SVM,boosting和隨機森林等方法。基于整體的檢測方法主要適用于稀疏的人群計數，但是隨著人群密度的提升，人與人之間的遮擋變得越來越嚴重。所以基于部分身體檢測的方法，被用來處理人群計數問題，它主要通過檢測身體的部分結構，例如頭，肩膀等去統計人群的數量。這種方法比之基于整體的檢測，在效果上有略微的提升。

基于回歸的方法，主要思想是通過學習一種特征到人群數量的映射，這類方法步驟主要分為兩步，第一步提取低級的特征，例如前景特征，邊緣特征，紋理和梯度特征；第二步是學習一個回歸模型，例如線性回歸，分段線性回歸，嶺回歸和高斯過程回歸等方法學習一個低級特征到人群數的映射關系。

隨著深度學習DL被廣泛應用于各個研究領域(計算機視覺，自然語言處理等)。DL憑借其出色的特征學習能力，同樣被研究人員用于人群計數的研究中。這類方法通過設計深度神經網絡，多次提取圖像中的人群特征，融合特征圖生成人群密度圖，最后求和得到圖像中的人數，實現人群計數的目的。

發明內容

本發明解決的技術問題是一種基于卷積神經網絡、針對大景深人群特征識別網絡模型構建及訓練方法，解決在密閉空間場景內進行人群計數時候，景深過大導致的人群尺度變化太大，常規網絡無法適應及識別各種尺度的人群特征，故而影響計數的準確度的問題。

具體是一種適于大景深的人群特征識別網絡構建及訓練方法，所述人群特征識別網絡包括：

網絡前端：前端網絡采用剔除了全連接層的VGG-16網絡，并且采用3×3的卷積核；

上采樣層：前端的VGG-16網絡中，進行了三次最大池化，用以降低特征圖的分辨率；

網絡后端：后端網絡為三層分支網絡，它們分別采用空洞率為2和3的空洞卷積，空洞卷積的定義如下：

其中：x(m,n)是長寬分別為m和n的輸入圖像信息，經過卷積核w(i,j)得到空洞卷積的輸出y(m,n)；參數r表示空洞率；如果r＝1，則空洞卷積是普通卷積；

所述人群特征網絡的訓練步驟包括：

1)生成密度圖

生成密度圖的方法采用脈沖函數卷積高斯核的方式來定義密度圖，假設標注點的位置為xi，那么具有N個頭的標簽表示為：

這里把它與高斯函數做卷積變成一個連續的函數；

使用幾何適應高斯核的密度圖，由下式表示：