[發明專利]基于多尺度感知注意力網絡的人群計數方法及系統

在審

• 申請號: 202011519235.3
• 申請日: 2020-12-21
• 公開（公告）號: CN112541459A
• 公開（公告）日: 2021-03-23
• 發明（設計）人: 呂蕾;謝錦陽;顧玲玉;李中會
• 申請（專利權）人: 山東師范大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06K9/40;G06N3/04;G06N3/08
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 黃海麗

本發明公開了基于多尺度感知注意力網絡的人群計數方法及系統，對待處理的目標圖像進行初級特征提取，得到目標圖像的初級特征；對初級特征分別進行不同尺度的全局上下文信息提取，得到不同尺度的全局上下文信息；對初級特征進行全局平均池化操作，得到平均池化的全局上下文信息；對每個尺度的全局上下文信息，學習出每個尺度的注意力特征；基于每個尺度的注意力特征和該尺度的全局上下文信息，得到每個尺度的去噪后的上下文信息；將所有尺度的去噪后的上下文信息進行融合得到第一融合結果；將第一融合結果，再與平均池化的全局上下文信息進行融合，得到第二融合結果；對第二融合結果進行解碼處理得到密度圖，對密度圖進行處理得到人群總數。

技術領域

本申請涉及計算機視覺技術領域，特別是涉及基于多尺度感知注意力網絡的人群計數方法及系統。

背景技術

本部分的陳述僅僅是提到了與本申請相關的背景技術，并不必然構成現有技術。

人群計數對于視頻監控、交通監測和現場理解等應用具有重要意義。特別是在火車站等限制嚴格的公共場所，據報道，由于這些地方過于擁擠，安全事故、交通延誤甚至可怕的踩踏事件時有發生。為了將人群控制在合理的范圍內，有必要對人群進行實時記錄和監控。當人群超過最大承載量時，活動管理者可以采取適當措施限制人群進出或分流人群。然而，早期的人群統計工作主要依靠人力，速度慢、效率低。近來，隨著計算機視覺技術的廣泛應用，許多研究者嘗試將計算機視覺應用于人群計數，來提高人群監管的效率，并取得了一定的成效。

人群計數的解決方案已經從檢測個體逐步推進到生成密度圖。通過對密度圖進行整合，就可以得到該場景下的人群總數。雖然之前的方法取得了一定的成功，但仍然無法處理高度擁擠的復雜人群場景。最近，隨著卷積神經網絡(CNN)的廣泛應用，許多基于CNN的方法與傳統方法相比，在人群計數精度上有了顯著的提升。但是，由于尺度變化、背景混淆、人群的大小和形狀發生變化等問題，目前的方法仍然無法實現精確的人群計數。目前，人群尺度連續變化的問題仍是人群計數領域最棘手的問題之一。在擁擠的場景中，人群的尺度發生較大變化，但是準確捕捉較大范圍的尺度變化是非常困難的，以至于無法對人群場景的尺度變化進行有效編碼，導致最終計數精度較差。

近來，為了解決尺度連續變化的問題，大多數方法采用多尺度上下文信息融合的方式。例如MCNN是一種采用多分支CNN架構的人群計數方法，每個分支使用不同大小的卷積核進行特征提取。最后，將不同分支上的特征進行融合，來捕捉圖像上的多尺度上下文信息。CrowdNet將淺層網絡和深層網絡結合在不同列，其中淺層網絡捕捉對應大尺度變化的低層特征，深層網絡捕捉高層語義信息，最終通過融合來解決密集人群的尺度變化問題。雖然這些方法可能對于處理密集人群的尺度變化是有用的，但它們忽略了局部上下文信息和全局上下文依賴性之間的差異性。因為場景中的局部上下文信息可以提供局部線索，以確定場景中是否存在人群區域信息，從而增強人群的區域特征表示。然而，上述方法不能準確地捕捉局部上下文信息，使得它們可能不足以在復雜環境中進行準確的人群計數。因此，現有方法的計數結果存在較大的誤差。

發明內容

為了解決現有技術的不足，本申請提供了基于多尺度感知注意力網絡的人群計數方法及系統；針對目前人群計數中較為棘手的尺度變化問題，本發明從多尺度特征提取以及注意力機制引導兩個方面入手，研究一種基于多尺度感知注意力網絡的人群計數方法，通過引入不同空洞率的空洞卷積，以不同大小的感受野來有效應對人群尺度連續變化的問題。此外引入一種維度注意力機制，通過跨通道捕捉不同維度之間的依賴關系，自適應地將局部上下文信息與全局上下文依賴關系整合起來，來增加多尺度融合的有效性。最終來實現更精確的人群計數。

第一方面，本申請提供了基于多尺度感知注意力網絡的人群計數方法；

基于多尺度感知注意力網絡的人群計數方法，包括：

獲取待處理的目標圖像；

對待處理的目標圖像進行初級特征提取，得到目標圖像的初級特征；