[發明專利]基于部分特征融合卷積神經網絡實時目標計數系統及方法

有效

• 申請號: 202010850481.0
• 申請日: 2020-08-21
• 公開（公告）號: CN111951260B
• 公開（公告）日: 2022-04-01
• 發明（設計）人: 張莉;于厚舜;王邦軍;屈蘊茜
• 申請（專利權）人: 蘇州大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/70
• 代理公司: 蘇州市中南偉業知識產權代理事務所(普通合伙) 32257
• 代理人: 張榮

本發明涉及一種基于部分特征融合卷積神經網絡實時目標計數系統及方法，包括：數據預處理模塊，使用圖像中已經標注好的目標位置信息，利用高斯濾波器生成目標圖像的密度圖，并將所有圖像歸一化；網絡訓練模塊，建立部分特征融合卷積神經網絡模型，使用處理好的圖像及生成的密度圖對所述部分特征融合卷積神經網絡模型進行訓練；目標數量預處理模塊，根據給定的圖像，使用訓練好的網絡模型對圖像中的目標數量進行預測。本發明有利于降低網絡的參數量和計算量，保證運行速度。

技術領域

本發明涉及實時目標計數的技術領域，尤其是指一種基于部分特征融合卷積神經網絡實時目標計數系統及方法。

背景技術

目標計數是計算機視覺中的任務之一，任務內容是輸出一圖像中的目標數量。目標計數任務應用廣泛，例如：估計戶外環境中的畜群中家畜的數量，促進畜牧業發展、監控例如演唱會等擁擠場景下的人群數量，做到及時防控，防止踩踏事件發生、統計路面車流量信息，幫助交通管制。隨著深度學習的快速發展，許多優秀的神經網絡目標計數模型被開發，目標計數的準確率已有大幅提升。但絕大多數模型在被開發時，研究者沒有考慮到模型的運行速度問題。現有模型大多結構復雜，難以訓練和部署，并且對硬間的依賴性較大。運行速度更快意味著網絡更加簡單、參數量更小，更適合部署在低算力的邊緣設備上。

Shi等人在論文“A Real-Time Deep Network For Crowd Counting”中提出了一種實時檢測人群密度的輕量化卷積神經網絡(Compact Convolutional Neural Network，C-CNN)。該網絡對硬件性能要求較低，且屬于目標計數的領域的技術，但是C-CNN網絡結構較為簡單且作為輕量化的網絡本身沒有使用模型壓縮技術，并且使用了存在大量冗余參數的多列結構，從而導致提高了網絡的參數量和計算量，影響運行速度。

發明內容

為此，本發明所要解決的技術問題在于如何提供一種降低網絡的參數量和計算量，保證運行速度的基于部分特征融合卷積神經網絡實時目標計數系統及方法。

為解決上述技術問題，本發明的一種基于部分特征融合卷積神經網絡實時目標計數系統，包括數據預處理模塊，使用圖像中已經標注好的目標位置信息，利用高斯濾波器生成目標圖像的密度圖，并將所有圖像歸一化；網絡訓練模塊，建立部分特征融合卷積神經網絡模型，使用處理好的圖像及生成的密度圖對所述部分特征融合卷積神經網絡模型進行訓練；目標數量預處理模塊，根據給定的圖像，使用訓練好的網絡模型對圖像中的目標數量進行預測。

在本發明的一個實施例中，使用圖像中已經標注好的目標位置信息的方法為：從拍攝的視頻中進行抽幀，抽幀得到訓練集其中X_i為訓練集中第i張圖像，大小為m×n，N為訓練集的數量；使用標注工具標注訓練集中圖像X_i中所有目標的中心位置；標注完成可得訓練集其中X_i為訓練集中第i張圖像，大小為m×n；P_i是第i張圖像中目標中心坐標的信息，大小為c_i×2，第一列為目標中心點在圖像中的橫坐標，第二列為目標中心點在圖像中的縱坐標，c_i為該圖像中的目標數；N為訓練集的數量。

在本發明的一個實施例中，利用高斯濾波器生成目標圖像的密度圖的方法為：采用一個大小為15×15、方差為σ的高斯濾波器，根據P_i中目標中心的坐標信息，生成X_i圖像的密度圖M_i，其中P_i是第i張圖像中目標中心坐標的信息，X_i為訓練集中第i張圖像，得到處理好的訓練集用于訓練網絡。

在本發明的一個實施例中，使用處理好的訓練集訓練所述部分特征融合卷積神經網絡模型，且損失函數L(Θ)定義為其中Θ為網絡學習的參數，且F(X_i；Θ)為網絡對第i張圖像的估計密度圖。

在本發明的一個實施例中，所述部分特征融合卷積神經網絡模型包括卷積層，池化層以及上采樣層。