[發明專利]一種基于排序損失和雙分支網絡的人群計數方法及系統

在審

• 申請號: 202011075743.7
• 申請日: 2020-10-10
• 公開（公告）號: CN112215129A
• 公開（公告）日: 2021-01-12
• 發明（設計）人: 吳秦;嚴芳芳
• 申請（專利權）人: 江南大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京禹為知識產權代理事務所(特殊普通合伙) 32272
• 代理人: 王曉東

本發明公開了一種基于排序損失約束的雙分支尺度感知人群計數方法及系統，包括了一個雙分支尺度感知網絡，該網絡由兩大部分組成：VGG16的前10層作為基礎主干網絡，雙分支網絡作為網絡的第二部分。淺層網絡分支通過一個淺層全卷積網絡提取低層信息(顏色、邊緣、形狀等)，深層網絡分支通過一個深層全卷積網絡提取高層上下文特征(頭部、人臉和身體等)；將兩個分支提取的不同尺度特征融合，生成預測密度圖；并且基于原始圖必定包含比任意子圖更多或相等的人的事實，提出了利用圖像內部約束關系的排序損失函數；并將排序損失與歐氏距離損失結合起來作為最終損失函數，并且進行訓練，提高了計數的準確度，解決了密集人群場景下的人群計數問題。

技術領域

本發明涉及深度學習的技術領域，尤其涉及一種基于排序損失約束的雙分支尺度感知人群計數方法。

背景技術

隨著世界人口指數式增長，人群計數問題在實際生活中應用場景越來越多，例如節假日出游，體育賽事，政治集會等，得到準確的人數信息是解決密集場景下人群擁擠問題的關鍵。此外，人數信息對于很多行業都有重要的意義。

早期的一些方法通過檢測的方法來解決人群計數問題，使用一個滑動窗口檢測器來檢測場景中人群，并統計相應的人數或者基于手工提取的頭部或身體的特征(如Haar小波和HOG)來估計人數。然而嚴重的遮擋使得檢測出每一個行人很困難。為了克服遮擋問題，提出了基于回歸的方法，這種方式首先提取多種手工特征用于生成低層信息，再將計數問題轉換成回歸問題，學習一個回歸模型，用線性回歸，分段線性回歸，嶺回歸和高斯過程回歸等方法學習裁剪的圖像塊到人數的映射關系。盡管如此，基于回歸的方式還是難以處理高密集的人群場景。

近年來，GPU計算能力的提升和許多大型數據庫的出現促使深度學習在許多計算機視覺領域取得了十分優異的性能。研究者開始將深度學習方法應用到圖片人群計數領域，通過CNN去學習人群圖片和密度圖之間非線性表達。這使得圖片人群計數的準確度取得了一個質的飛躍，尤其是在高密集人群場景下。

發明內容

本部分的目的在于概述本發明的實施例的一些方面以及簡要介紹一些較佳實施例。在本部分以及本申請的說明書摘要和發明名稱中可能會做些簡化或省略以避免使本部分、說明書摘要和發明名稱的目的模糊，而這種簡化或省略不能用于限制本發明的范圍。

鑒于上述現有人群計數領域中存在由于尺度多變造成的計數誤差問題，提出了本發明。

因此，本發明解決的技術問題是：緩解人群計數領域中由于尺度多變造成的計數誤差問題，還可以對人群進行預測，對構建的損失函數進行訓練，從而保證了結果的準確度。

為解決上述技術問題，本發明提供如下技術方案：采集人群圖像數據進行預處理，形成樣本數據集；對訓練樣本集圖像手工標注人頭位置，利用高斯函數計算所述人群圖像數據的人群密度信息，得到人群標簽密度圖；基于深度學習策略構建雙分支尺度感知神經網絡模型并輸入所述樣本數據集和所述人群標簽密度圖進行訓練；將訓練集中的人群圖像輸入所述雙分支尺度感知神經網絡模型內提取特征信息以輸出預測密度圖；利用積分求解所述預測密度圖中的人數。

作為本發明所述的基于排序損失和雙分支網絡的人群計數方法的一種優選方案，其中：構建所述雙分支尺度感知神經網絡模型包括，選取VGG網絡前十層作為所述雙分支尺度感知神經網絡模型的骨干網絡；基于兩個不同深度的分支提取不同尺度的特征并作為所述雙分支尺度感知神經網絡模型的核心網絡；利用1*1卷積融合所述輸入層與所述網絡層提取的所述特征輸出單通道密度圖形成輸出層。

作為本發明所述的基于排序損失和雙分支網絡的人群計數方法的一種優選方案，其中：所述核心網絡還包括，淺層和深層，所述淺層包括三層卷積層，所述深層包括六層卷積層；其中，所述淺層提取待檢測目標的低層信息，所述深層提取所述待檢測目標的語義信息。