[發明專利]基于視頻圖像的人群計數方法

有效

• 申請號: 202010430583.7
• 申請日: 2020-05-20
• 公開（公告）號: CN111709300B
• 公開（公告）日: 2022-08-12
• 發明（設計）人: 韓鎧宇;翁立;王建中
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06V20/52
• 分類號: G06V20/52;G06V10/26;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 朱月芬

本發明提供一種基于視頻圖像的人群計數方法。本發明方法輸入數據為連續視頻幀圖像，通過對采集的連續視頻幀與給定的背景圖像做像素減法分離冗余信息得到預處理后的輸入圖像；將經過預處理的圖像輸入基于密度分類的編碼?解碼網絡模型中，使用主干網絡提取多尺度特征，并對其進行特征融合用于密度回歸給出權重；同時利用提取的多尺度特征上采樣得到對應的密度估計圖，最終實現不同尺度特征對應的密度圖加權得到最終密度估計圖。本發明提出的方法針對視頻圖像的人群計數，在一定程度上利用了行人間的相似性，并利用了冗余信息的過濾，不僅可以得到實時的行人計數，并且能夠實時地保留背景圖片。

技術領域

本發明屬于計算機視覺中的人群圖像處理領域，具體來說是一種涉及圖像中的人群計數以及行人背景分割的方法。

背景技術

人群計數，是對圖像或是視頻圖像序列中的行人進行數量統計。在現實生活中，有效的行人計數在安全管控、區域規劃、行為分析等領域有著重要的意義，比如在防止踩踏、交通線路設計、廣告位投放、建筑選址等方面提供一定的數據支撐。

目前的行人計數方法主要可以分為三大類：早期的基于檢測的方式、基于回歸的方式以及如今密度圖回歸的方式?；跈z測的方式是通過一個滑動窗口，并利用邊緣等特征進行行人的檢測，此類方法受限于行人遮擋，適用于目標較為分散的場合?；诨貧w的方法在一定程度上提高了遮擋人群中的計數準確度，但是并不能很好地得到行人分布的空間信息。

隨著計算機視覺領域的不斷發展，行人計數開始轉向了密度圖回歸的方法。相較于上述兩種方法，利用密度圖回歸的方式能夠在處理遮擋問題的同時給出了行人的分布情況，從而獲得具體的空間分布信息。

如今，行人計數依舊保留著大量計算機視覺領域所共有的問題。例如，視角變換所帶來的透視問題使得人群在不同尺度下的檢測變得更加困難?，F有的計數方法大多采用了深度學習提取多尺度特征的形式，其優勢在于利用多層或是多列卷積提取不同尺度的行人特征，在一定程度上解決了透視問題，但是仍舊有提升的空間。

事實上，在針對固定場景的行人計數情況下，常常會出現大量冗余信息。例如周圍的環境建筑、停駐的車輛，往往在一定的時間段內都是不發生變化的。在現有的利用深度學習生成密度圖的方法中，對干擾數據進行計算會占用一定的資源并導致計算速度變慢。針對這些背景信息的干擾，在處理視頻流中可以通過在線背景更新以及背景分割的形式，事先過濾掉冗余信息。

綜合以上思路，本發明提出了一種基于視頻圖像和在線背景分割的人群計數方法。

發明內容

針對現有行人計數領域存在的問題，本發明提出一種基于視頻圖像的人群計數方法。該方法具有以下優點：

在訓練模型階段，1)選擇成熟的多層小卷積核神經網絡(Convolutional NeuralNetwork,CNN)，例如VGG-16結構，做初步特征提取，在保證對圖像具有強大表征能力的同時減少參數，使得模型更為簡潔，通用性強；2)利用獲得的多尺度特征對圖像進行密度估計。在行人間存在相似性，密集程度較大的情況下，以低級特征為主可以更有效地進行統計；在密集程度較小的情況下，行人的高級特征會使得計數更為精準。因此利用密度分類的形式，可以針對不同的遮擋情況進行統計，增加計數的準確度。

在應用過程中，利用背景分割法分離環境干擾，保留關鍵信息，以稀疏矩陣的形式簡化了圖像參與計算的部分，加快了后續行人計數回歸的速度；利用行人檢測的空間信息以及背景分割法保留的信息實現背景的不斷更新，最終實現完整背景的分離。

一種基于視頻圖像的人群計數方法，步驟如下：

步驟一、選取具有標注信息的行人圖像數據集，測試集與訓練集數量定為6：4，可以根據實際數據集對比例進行修改，然后根據圖像自帶的人頭標注像素點進行高斯函數處理，生成原圖像對應的初始真值密度圖；

步驟二、搭建基于密度分類的編碼-解碼卷積網絡模型。