[發明專利]基于注意力機制循環縮放的人群計數與定位方法和系統

有效

• 申請號: 201910293903.6
• 申請日: 2019-04-12
• 公開（公告）號: CN110188597B
• 公開（公告）日: 2021-06-15
• 發明（設計）人: 陳剛;劉臣臣;王成成;黃波;韓峻;糜俊青;翁昕鈺;穆亞東
• 申請（專利權）人: 北京大學;中星技術股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06T7/00;G06N3/04
• 代理公司: 北京君尚知識產權代理有限公司 11200
• 代理人: 邱曉鋒

1.一種基于注意力機制循環縮放的密集人群計數與精確定位方法，其特征在于，包括以下步驟：

1)建立三分支的深度神經網絡，分別獲取輸入圖像對應的人群計數密度圖、人群位置分布圖以及縮放候選區域注意力圖；

2)通過所述人群計數密度圖得到圖像中初始的人群計數值，通過所述人群位置分布圖得到圖像中每個人物的位置坐標，通過所述縮放候選區域注意力圖得到圖像中人群密集的若干區域；

3)將所述人群密集的若干區域從圖像中剪切出來，通過提高分辨率獲得精確的定位結果，并用其更新所述人群位置分布圖；

4)利用根據所述人群計數密度圖得到的人群計數值和根據步驟3)更新后的所述人群位置分布圖得到的人群計數值，通過加權得到準確的人群計數值。

2.根據權利要求1所述的方法，其特征在于，所述三分支的深度神經網絡構成主網絡，所述主網絡包括定位分支、計數分支以及縮放候選區域分支；所述定位分支由空洞卷積層和3個反卷積層構成，最后輸出一層和原始圖片分辨率大小相同的人群位置分布圖；所述計數分支只由空洞卷積層構成，該分支輸出原始圖片分辨率1/8大小的人群計數密度圖；將定位分支和計數分支輸出的特征圖做拼接，作為所述縮放候選區域分支的輸入，所述縮放候選區域分支通過3個空洞卷卷積層，輸出和輸入圖像分辨率大小相同的縮放候選區域注意力圖。

3.根據權利要求1或2所述的方法，其特征在于，所述提高分辨率，是將分辨率放大為原來的兩倍。

4.根據權利要求2所述的方法，其特征在于，所述通過提高其分辨率獲得精確的定位結果，是將提高分辨率后的所述人群密集的若干區域送入循環縮放網絡得到精確的人物定位結果；所述循環縮放網絡不含有計數分支，其余部分與所述主網絡保持一致。

5.根據權利要求4所述的方法，其特征在于，所述循環縮放網絡自身能夠得到縮放候選區域注意力圖，根據縮放候選區域注意力圖決定是否再次剪切區域并繼續通過所述循環縮放網絡，直到縮放候選區域注意力圖中找不到新的人群密集的區域。

6.根據權利要求4所述的方法，其特征在于，按照計數分支、定位分支、縮放候選區域分支的順序依次對所述主網絡的三個分支進行訓練；以訓練完成的所述主網絡的參數作為所述循環縮放網絡的初始化參數，對所述循環縮放網絡進行微調。

7.根據權利要求6所述的方法，其特征在于，對于計數分支，以該分支輸出的人群計數密度圖與真實的人群計數密度圖之間的MSE損失作為優化目標函數，對該分支的模型參數進行梯度更新；計數分支收斂后，將計數分支學習到的參數作為定位分支的初始化參數，定位分支以預測人頭位置圖與真實人頭位置圖之間的帶權重的BCE損失作為優化目標函數，對該分支的模型參數進行梯度更新；計數分支與定位分支學習結束后，固定這兩個分支的參數，開始訓練縮放候選區域分支，該分支以MSE損失作為優化目標函數。

8.根據權利要求1所述的方法，其特征在于，所述通過加權得到準確的人群計數值，其權重采用以下方式獲得：

a)在訓練集上分別根據人群計數密度圖、人群位置分布圖得到人群計數值；

b)根據已經有的圖像對應的真實人群計數值，學習到步驟a)得到的兩個人群計數值之間的融合權重。

9.根據權利要求1所述的方法，其特征在于，根據人群位置分布圖得到人群計數值的方法是：

a)對人群位置分布圖做非極大值抑制，然后取響應值大于某一閾值的所有位置點作為峰值點；

b)取人群位置分布圖中的峰值點的位置作為人頭定位坐標；

c)通過對人頭定位坐標進行計數得到圖像中出現的人物總數。

10.一種基于注意力機制循環縮放的密集人群計數與精確定位系統，其特征在于，包括：

主網絡模塊，其包含三分支的深度神經網絡，用于分別獲取輸入圖像對應的人群計數密度圖、人群位置分布圖以及縮放候選區域注意力圖；通過所述人群計數密度圖得到圖像中初始的人群計數值，通過所述人群位置分布圖得到圖像中每個人物的位置坐標，通過所述縮放候選區域注意力圖得到圖像中人群密集的若干區域；將所述人群密集的若干區域從圖像中剪切出來，并提高其分辨率；

循環縮放網絡模塊，負責以提高分辨率后的所述人群密集的若干區域為輸入，得到精確的人物定位結果，并用其更新所述人群位置分布圖；

融合計數模塊，負責利用根據人群計數密度圖得到的人群計數值和根據人群位置分布圖得到的人群計數值，通過加權得到準確的人群計數值。