[發明專利]神經網絡系統和基于神經網絡系統的圖像人群計數方法

有效

• 申請號: 202110386075.8
• 申請日: 2021-04-12
• 公開（公告）號: CN112801063B
• 公開（公告）日: 2021-07-20
• 發明（設計）人: 張凱;賀甜甜;丁冬睿;逯天斌
• 申請（專利權）人: 廣東眾聚人工智能科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種神經網絡系統和基于神經網絡系統的圖像人群計數方法。所述神經網絡系統用于預測待預測人群圖像的人群密度，包括：共享編碼器，用于提取待預測人群圖像的多尺度融合信息X’；密度特征預測分支，與所述共享編碼器連接，用于獲取所述待預測人群圖像的S個密度特征圖；像素級多尺度注意力分支，與所述共享編碼器連接，用于獲取所述待預測人群圖像的S個注意力掩碼；融合模塊，與所述密度特征預測分支和所述像素級多尺度注意力分支連接，用于將所述S個密度特征圖和所述S個注意力掩碼進行融合。本發明考慮了像素級別的人群密度信息，并且融合了多尺度信息，提高了人群計數的精度。

技術領域

本發明實施例涉及計算機視覺技術領域，尤其涉及一種神經網絡系統和基于神經網絡系統的圖像人群計數方法。

背景技術

本部分的陳述僅僅是提供了與本發明相關的背景技術信息，不必然構成在先技術。

隨著社會的發展，城鎮人口密度在持續快速地增長，城鎮中大規模人口聚集場合也越來越多，及時高效地對人群密度進行監控管理能夠有效的防止擁擠、踩踏等意外人身事故的發生，因此，近年來人群計數任務也受到了社會各界廣泛的關注。圖像人群計數方法可以在多種場景下穩定部署應用，例如應用在交通監測系統、安防機器人、商場安防系統等。

人群計數方法分為基于檢測和回歸的傳統方法以及基于深度學習的計數方法?；谏疃葘W習的方法在人群計數準確性方面較傳統方法有明顯的優勢，也逐漸成為了主流。當我們在觀察一副人群圖像時，往往會結合各種局部細節來得到我們想要的信息。在計算機視覺領域中，這種給圖像中各個局部區域賦予不同權重的方法稱為注意力機制。

相關的基于深度學習的人群計數方法，在使用注意力機制時，往往是將人群圖片分為不同人群密度等級的若干塊，并分配不同的權重，這樣做的缺點是與真實的基于像素的密度圖不相匹配。此外，很多模型沒有將不同卷積核大小的卷積所提取的多尺度圖像特征進行精細化的處理。

發明內容

本發明提供一種神經網絡系統和基于神經網絡系統的圖像人群計數方法，以解決現有技術中存在的上述問題。

第一方面，本發明實施例提供了一種神經網絡系統。該系統用于預測待預測人群圖像的人群密度，包括：

共享編碼器，用于獲取所述待預測人群圖像，提取所述待預測人群圖像的多尺度融合信息X’；

密度特征預測分支，與所述共享編碼器連接，將X’作為輸入，用于基于X’獲取所述待預測人群圖像的S個密度特征圖，其中，S為大于或等于1的整數；

像素級多尺度注意力分支，與所述共享編碼器連接，將X’作為輸入，用于基于X’獲取所述待預測人群圖像的S個注意力掩碼，其中，每個密度特征圖對應一個注意力掩碼；

融合模塊，與所述密度特征預測分支和所述像素級多尺度注意力分支連接，用于將所述S個密度特征圖和所述S個注意力掩碼進行融合，得到所述待預測人群圖像的密度預測圖。

在一實施例中，所述共享編碼器包括：