[發明專利]基于視頻圖像的人群計數方法

有效

• 申請號: 202010430583.7
• 申請日: 2020-05-20
• 公開（公告）號: CN111709300B
• 公開（公告）日: 2022-08-12
• 發明（設計）人: 韓鎧宇;翁立;王建中
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06V20/52
• 分類號: G06V20/52;G06V10/26;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 朱月芬

1.一種基于視頻圖像的人群計數方法，其特征在于，步驟如下：

步驟一、選取具有標注信息的行人圖像數據集，測試集與訓練集數量定為6：4，然后根據圖像自帶的人頭標注像素點進行高斯函數處理，生成原圖像對應的初始真值密度圖；

步驟二、搭建基于密度分類的編碼-解碼卷積網絡模型；

所述的基于密度分類的編碼-解碼卷積網絡模型分為一個骨干網絡與兩個分支：以VGG-16網絡作為骨干網絡，使用其全部層數提取對應不同尺度特征；通過密度回歸分支對提取的不同尺度特征進行融合輸入，通過回歸實現密度分類，獲得解碼分支的權重；解碼分支利用各尺度特征，上采樣解碼還原圖像，生成各尺度特征對應的人群密度估計圖，利用密度回歸分支獲得的權重進行加權，得到最終密度估計圖；

步驟三、通過訓練集對步驟二搭建的基于密度分類的編碼-解碼卷積網絡模型進行訓練，采用隨機梯度下降算法來優化參數，并使用歐幾里德距離來計算密度估計圖和真值密度圖之間的損失；保留效果較優的完整模型，用于實際檢測；

步驟四、利用背景分離的預處理方法，實現輸入圖像的縮減，完成稀疏矩陣的生成，再通過步驟三得到的基于密度分類的編碼-解碼卷積網絡模型，實現最終的計數結果；

背景分離的方法：通過對采集的連續視頻幀與給定的背景圖像進行像素減法，采用閾值劃分的形式保留所有無關背景的信息的圖像內容，實現輸入圖像內容的縮減，提高卷積效率；并通過編碼-解碼卷積網絡模型生成的最終密度估計圖，對含有行人部分進行提取，其余部分以背景形式更新至背景圖層，實現背景的實時更新。

2.根據權利要求1所述的一種基于視頻圖像的人群計數方法，其特征在于，步驟一的具體內容為：

利用二維高斯卷積核將數據集中的帶有人頭位置標注的行人圖像轉換為真值密度圖，用于損失差計算；選擇基于幾何適應高斯核的密度圖，公式表示如下：

真值密度圖通過delta脈沖函數與一個高斯函數卷積獲得，先卷積后求和；x_i表示人頭在圖像中的像素位置；δ(x-x_i)表示圖像中人頭位置的沖激函數；N為圖像中的人頭總數；為距離x_i人頭最近m個人頭的平均距離；β為定值，用于生成高斯函數的寬度參數；

通過以上運算將帶有人頭標注的行人圖像轉換成真值密度圖，并作為卷積神經網絡的輸出比對進行后續訓練。

3.根據權利要求2所述的一種基于視頻圖像的人群計數方法，其特征在于，所述步驟三的具體內容為：

利用測試集圖像作為輸入對步驟二搭建的基于密度分類的編碼-解碼卷積網絡模型，進行訓練，并保留模型參數；使用歐幾里得距離計算最終密度估計圖和真值密度圖之間的損失；采用隨機梯度下降算法優化參數，直到損失值收斂到預計值；

采用歐氏距離測量生成的密度圖與真實值的距離時，損失函數定義如下：

其中，N表示輸入編碼-解碼卷積網絡模型的圖片數量，Z(X_i；Θ)為第i幅輸入圖片對應的最終密度估計圖，Z^GT表示真值密度圖；Θ表示網絡待學習參數；

采用均方誤差(MSE)和平均絕對誤差(MAE)對編碼-解碼卷積網絡模型進行評估；MSE用來描述編碼-解碼卷積網絡模型的準確度，MSE越小則準確度越高，MAE能反映出預測值的誤差情況；

其中，C_i表示對圖片的預測人數，表示真實人數；

測試過程：選擇測試集輸入到訓練好的模型中進行測試，輸出最終人群密度圖，統計結果；取最佳結果作為模型參數進行封裝。