[發明專利]基于注意力機制循環縮放的人群計數與定位方法和系統

有效

• 申請號: 201910293903.6
• 申請日: 2019-04-12
• 公開（公告）號: CN110188597B
• 公開（公告）日: 2021-06-15
• 發明（設計）人: 陳剛;劉臣臣;王成成;黃波;韓峻;糜俊青;翁昕鈺;穆亞東
• 申請（專利權）人: 北京大學;中星技術股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06T7/00;G06N3/04
• 代理公司: 北京君尚知識產權代理有限公司 11200
• 代理人: 邱曉鋒

本發明涉及一種基于注意力機制循環縮放的密集人群計數與精確定位方法和系統。與原有的基于密度圖的人群計數方法以及通過人臉或者行人檢測獲取人群數量估計的方法不同，本發明通過精心設計的三分支的深度神經網絡分別獲取輸入圖像對應的人群計數密度圖、人群位置分布圖以及用于獲取密集候選注意力圖。通過人群計數密度圖得到圖像中初始的人群計數值；通過人群位置分布圖得到圖像中每個人物的位置坐標；通過密集區域候選圖得到圖像中人群密集的若干區域，將這些區域從原圖中剪切出來并將分辨率放大為原來的兩倍，送進后面的網絡得到更加精確的人物定位結果。

技術領域

本發明涉及一種圖像中密集人群計數和人群精確定位的方法，尤其涉及一種使用注意力機制循環縮放獲取人群精確定位的方法和系統，屬于計算機視覺領域。

背景技術

隨著社會的城鎮化發展，城市人口數量急劇上升，視頻監控攝像機被密集地安裝在許多城市周圍，越來越多的使用到我們日常工作和生活中。這些視頻數據最重要的應用領域之一就是智能視頻監控。擁有了13億人口的中國，人口數量大引發的一系列問題始終威脅著公眾安全。同樣在世界上其他地方，舉行大型活動時也會因為人群過密發生不可控事件。所以，有效的利用安防監控數據合理調配治安人員以及建設輔助交通設施對人群進行引導分流對于公共秩序的維護和人身安全的保護有著重大意義。然而傳統視頻監控需要人工監視處理、匯報情況，非常消耗人力物力。自動化的視頻分析和處理不僅可以解放勞動力，還可以從海量的視頻信息中挖掘數據，學習到有用的知識和規則。人群計數作為視頻分析中的一個領域，對于人群行人分析，緊急情況監測，交通規劃等多個方面都有著重要的意義。

現有的人群計數技術主要分為基于密度圖進行積分估計和人臉或者行人檢測進行人數估計兩大類。隨著深度學習技術的發展，許多研究人員利用深度神經網絡學習得到人群的密度圖，通過對密度圖積分獲得圖片中人群數量，這一方法已經取得了不錯的準確度，但該方法的主要缺點是，雖然學習得到的密度圖積分值和圖片中人群數量相當，但是學習得到的密度圖分布和真實的密度圖分布差異較大，不利于進一步的人群分析。

深度學習的發展也使傳統的目標檢測任務取得了很大的進步，所以有研究人員通過對圖像中出現的人臉或者行人進行檢測來估計人群數量。這一方法雖然能準確的給出人的位置，避免的基于密度圖方法預測分布不準確的缺陷，但是也存在著很大的問題，現有的人臉或行人檢測器在超密集場景下的效果很差，而人群估計往往都是超密集場景，很難看清楚的人臉或者人的身體，所以這一方法在這種場景下很難取得好效果。

發明內容

針對密集人群計數中基于密度圖方法預測不準確以及基于檢測的方法對于密集場景效果不佳的問題，本發明的目的在于提供一種基于注意力機制循環縮放的密集人群計數以及精確定位的解決方法和系統。本發明使用深度學習的方法，提出了一種基于注意力機制的循環縮放網絡，該網絡將原有的密集圖片中人群數量估計問題轉化為人群初始估計以及人群精確定位兩個問題。

與原有的基于密度圖的人群計數方法以及通過人臉或者行人檢測獲取人群數量估計的方法不同，本發明通過精心設計的三分支的深度神經網絡分別獲取輸入圖像對應的人群計數密度圖、人群位置分布圖以及縮放候選區域注意力圖。通過人群計數密度圖得到圖像中初始的人群計數值；通過人群位置分布圖得到圖像中每個人物的位置坐標；通過縮放候選區域注意力圖得到圖像中人群密集的若干區域，將這些區域從原圖中剪切出來并將分辨率放大為原來的兩倍，送進后面的循環縮放網絡得到更加精確的人物定位結果。從人群計數密度圖和人群位置分布圖中均可得到人群計數值，本發明還提出了一種結合場景自適應權重，以該權重對得到的兩個人群計數值進行加權得到更加準確的人群數量估計。

本發明的一種基于注意力機制循環縮放的密集人群計數與精確定位方法，包括以下步驟：

1)建立三分支的深度神經網絡，分別獲取輸入圖像對應的人群計數密度圖、人群位置分布圖以及縮放候選區域注意力圖；