[發明專利]基于多尺度自適應上下文網絡的人群計數方法及系統

有效

• 申請號: 202011552667.4
• 申請日: 2020-12-24
• 公開（公告）號: CN112580545B
• 公開（公告）日: 2022-07-29
• 發明（設計）人: 呂蕾;謝錦陽;顧玲玉
• 申請（專利權）人: 山東師范大學
• 主分類號: G06V20/52
• 分類號: G06V20/52;G06V10/82;G06V10/80;G06K9/62;G06N3/04
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 朱忠范

本發明提供一種基于多尺度自適應上下文網絡的人群計數方法及系統，屬于機器視覺技術領域，采用經過預訓練的VGG?16網絡對人群圖像進行初級特征信息提取，獲得初級特征圖像；采用多個并行排列的自適應卷積網絡對初級特征圖像進行多尺度上下文信息提取；其中，每個自適應卷積網絡用于提取特定尺度上的上下文信息；根據對應尺度上的上下文信息獲取人群圖像最終的上下文信息；將最終的上下文信息進行解碼回歸得到最終的密度圖；對最終的密度圖進行積分計算，得到人群圖像上的人群總數。本發明可自適應地捕獲多個尺度上的上下文信息，以較小的卷積核獲得更大的感受野，降低了計算量，增大了魯棒性，通過學習自適應地融合多尺度特征信息，提高了計數準確性。

技術領域

本發明涉及機器視覺技術領域，具體涉及一種基于多尺度自適應上下文網絡的人群計數方法及系統。

背景技術

人群計數是指預測特定圖像中存在的總人數的任務，其在視頻監控、交通控制和大都市安全等方面的廣泛應用，近年來引起了人們的廣泛關注。早期的人群計數主要可分為兩類，一種是檢測個體的身體或頭部，另一種是學習從圖像的全局或局部特征到預測計數的映射。但是由于這些方法的局限性，使得它們在復雜的環境無法對人群做到精確的估計。最近，許多研究人員嘗試使用卷積神經網絡(CNN)進行人群計數，并且得益于卷積神經網絡的局部學習能力，目前人群計數的工作不僅可以預測特定圖像的人群總數，而且還可以預測人群的空間范圍的密度映射。

盡管目前基于CNN的人群計數方法與傳統方法相比，計數結果已經得到較大提升，但是由于背景雜亂、密集遮擋和尺度變化等問題的存在，人群計數仍然是一項具有挑戰性的任務。其中尺度變化問題是最近人群計數領域最受關注的一個問題。所謂尺度變化是指個體的大小(或人頭的大小)隨著與攝像機的距離的變化而變化。所以在同一幅圖像中會出現不同大小的人群尺度。而不同的尺度會包含不同的特征信息，并且是高度互補的。例如，較高層次的特征編碼高級語義，而較低層次的特征包含外觀細節。所以如何更好的解決尺度變化問題，并且充分利用豐富的多尺度特征信息成為目前人群計數領域的一個重要課題。

在深度卷積神經網絡中，不同尺度的個體可以被具有不同感受野的卷積核捕獲。同樣特定的感受野通常對應于特定大小的個體。因此在密集的人群場景中，可以通過使用不同的感受野來捕獲人群尺度的連續變化。目前常用的方法是并行使用多個不同大小的卷積核來捕獲多尺度信息。然而，實驗證明，對大尺度的個體使用較大感受野的效果并不是最優的，因為當使用較大內核的卷積核時，模型的參數和計算成本也隨之增加了，并且也增加了過擬合的風險。所以為了在不增加模型計算量的情況下獲得更大感受野，一些方法在DeepNet中進行了降采樣操作，雖然這樣獲得了更大感受野，但是卻降低了特征圖的空間分辨率，影響了生成密度圖的質量。最近，一些研究開始嘗試引入空洞卷積來解決這一問題，與傳統卷積相比，空洞卷積可以在不增加額外參數和損失圖像分辨率的情況下擴大感受野。例如ASPP使用具有不同空洞率的多個平行空洞卷積來捕獲多尺度信息。但實驗證明它雖然可以在一定程度上處理尺度變化，但是它在空洞率和尺度變化范圍之間很難實現權衡。此外，采用空洞卷積可能會丟失臨近信息，較大的空洞率可能導致網格偽影的現象。

發明內容

本發明的目的在于提供一種可適應連續的尺度變化、捕捉更大的感受野的基于多尺度自適應上下文網絡的人群計數方法及系統，以解決上述背景技術中存在的至少一項技術問題。

為了實現上述目的，本發明采取了如下技術方案：

一方面，本發明提供一種基于多尺度自適應上下文網絡的人群計數方法，包括如下步驟：

采用經過預訓練的VGG-16網絡對人群圖像進行初級特征信息提取，獲得初級特征圖像；

采用多個并行排列的自適應卷積網絡對初級特征圖像進行多尺度上下文信息提取；其中，每個自適應卷積網絡用于提取特定尺度上的上下文信息；

根據對應尺度上的上下文信息獲取人群圖像最終的上下文信息；

將最終的上下文信息進行解碼回歸得到最終的密度圖；