[發明專利]一種基于視頻圖像的人群計數和未來人流量預測的方法

有效

• 申請號: 202010364590.1
• 申請日: 2020-04-30
• 公開（公告）號: CN111611878B
• 公開（公告）日: 2022-07-22
• 發明（設計）人: 李小玉;翁立;賴曉平
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06V20/52
• 分類號: G06V20/52;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 朱月芬

1.一種基于視頻圖像的人群計數和未來人流量預測的方法，其特征在于包括以下步驟：

步驟1、選定具有人工標注信息的視頻圖像數據集，根據圖像中的人頭位置的標注進行高斯函數處理，用于生成原始圖像對應的真值密度圖；

步驟2、搭建多尺度金字塔空洞卷積網絡模型，將視頻圖像數據集中連續視頻幀輸入到多尺度金字塔空洞卷積網絡模型中，充分提取具有多尺度信息的特征圖，并映射為人群估計密度圖，對人群估計密度圖進行積分，統計人群估計密度圖中的人數；

其中多尺度金字塔空洞卷積網絡模型分兩部分：第一部分的結構是VGG-Basic網絡；第二部分的結構是由四組并行的具有不同空洞率的空洞卷積層構成；將各分支的輸出的特征圖與VGG-Basic網絡輸出的特征圖進行通道拼接；

步驟3、構建基于殘差連接的Bi-ConvLSTM網絡；將得到的人群估計密度圖堆疊數幀輸入到Bi-ConvLSTM網絡中，預測T+1時刻的人群預測密度圖，并估計T+1時刻的行人數量；

其中雙向ConvLSTM模塊是對傳統ConvLSTM的改進，輸入的人群估計密度圖由兩個ConvLSTM單元前向和反向疊加計算,輸出包含前向序列信息和反向序列信息；

步驟4、先將步驟2中多尺度金字塔空洞卷積網絡模型進行預訓練，保存模型參數，并將得到的人群估計密度圖保存，輸入到步驟3的基于殘差連接的Bi-ConvLSTM網絡中進行訓練；采用隨機梯度下降算法來優化多尺度金字塔空洞卷積網絡模型和Bi-ConvLSTM網絡中的參數，使用歐幾里德距離來計算人群預測密度圖和真值密度圖之間的損失；

所述步驟3的具體步驟為：

針對連續視頻圖像的密度圖預測，提出基于殘差連接的Bi-ConvLSTM網絡；將步驟2得到的人群估計密度圖輸入到基于殘差連接的Bi-ConvLSTM網絡中進行重建和預測，將{T-t,...,T-1,T}連續時刻的人群估計密度圖序列輸入到基于殘差連接的Bi-ConvLSTM網絡中；

所述的基于殘差連接的Bi-ConvLSTM網絡是以ConvLSTM為基本結構，將ConvLSTM替換成雙向ConvLSTM結構，輸入的人群估計密度圖由兩個ConvLSTM單元前向和反向疊加計算,輸出特征圖包含前向序列信息和反向序列信息，用于重構人群估計密度圖序列，并預測未來視頻幀序列；

時空序列預測問題是根據先前的J個訓練視頻幀來預測未來最有可能的K個視頻幀序列，

其中，先前幀最有可能的未來幀F_m＝{X_t+1,X_t+2...,X_t+K}，預測未來幀t表示當前時刻,J表示先前幀的數量，K表示預測幀的數量，σ(·)是softmax函數；

Bi-ConvLSTM網絡由雙向ConvLSTM、BN、ReLU激活函數以及殘差連接結構構成；最后通過卷積和ReLU函數激活后得到T+1時刻的人群預測密度圖，并積分統計出T+1時刻的人流量。

2.根據權利要求1所述的一種基于視頻圖像的人群計數和未來人流量預測的方法，其特征在于所述步驟1的具體步驟為：

利用二維高斯卷積核將輸入的視頻圖像數據集中的人頭位置標注轉換為真值密度圖，作為帶有真值的訓練集用于計算損失差；

為了使真值密度圖能夠更好地與不同視角的密集人群圖像對應起來，選擇基于幾何適應高斯核的真值密度圖，由下式表示：

真值密度圖是由delta脈沖函數與一個高斯函數卷積得來，先卷積后求和；x_i表示圖像中第i個人頭位置，即圖像中第i個人頭的像素坐標，δ(x-x_i)表示圖像中人頭位置的脈沖函數，N₁為圖像中的人頭總數；

為距離人頭位置x_i最近的m個人頭位置的平均距離，β＝0.3；表示人頭位置x_i與人頭位置x_j的距離。