[發明專利]一種基于編碼-解碼結構多尺度卷積神經網絡的人群計數方法

有效

• 申請號: 202010038984.8
• 申請日: 2020-01-14
• 公開（公告）號: CN111242036B
• 公開（公告）日: 2023-05-09
• 發明（設計）人: 孟月波;劉光輝;徐勝軍;紀拓
• 申請（專利權）人: 西安建筑科技大學
• 主分類號: G06V20/52
• 分類號: G06V20/52;G06V10/774;G06N3/0464
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 孟大帥

1.一種基于編碼-解碼結構多尺度卷積神經網絡的人群計數方法，其特征在于，包括以下步驟：

步驟1，采集場景的圖像，考慮圖像的視角扭曲，采用自適應高斯濾波器，計算圖像的真值密度圖；

步驟2，采用編碼-解碼結構，搭建多尺度卷積神經網絡模型，用于計算人群的人員數量；其中，所述多尺度卷積神經網絡模型的損失函數包括像素空間損失和計數誤差描述；

步驟3，根據步驟1采集的圖像以及其對應的真值密度圖，對步驟2搭建的多尺度卷積神經網絡模型進行訓練和測試，獲得訓練好的多尺度卷積神經網絡模型；

步驟4，將待估圖像輸入步驟3訓練好的多尺度卷積神經網絡模型，預測獲得人群密度圖；對人群密度圖進行回歸估計，獲得待估圖像的人員數量；

其中，步驟2搭建的多尺度卷積神經網絡模型中：

編碼器通過多尺度卷積模塊捕獲多尺度特征，用于從原始圖像中學習與尺度相關的特征，實現多尺度信息的有效獲取；

采用空洞空間金字塔池化模塊聚合尺度特征，用于避免細節信息的丟失；

解碼器對編碼器的輸出進行上采樣，并與前半層的輸出特征圖經1x1卷積匹配通道數后融合，再經一個3x3的卷積核微調，進行輸出，獲得預測密度圖；

所述空洞空間金字塔池化模塊，采用4個并行的不同擴張比率的空洞卷積核對不同尺度特征進行重采樣，揭示圖像的上下文信息；在空洞卷積尾部串行空間金字塔結構，用于將不同大小特征圖映射為相同維度空間信息融入圖像表示中；

所述空洞卷積是在標準卷積核中添加空洞，空洞卷積表達式為：

式中，w代表卷積核；k代表卷積核尺寸；w[k]表示大小為k的卷積核；a[i]表示第i個輸入；*_l表示空洞卷積運算；l表示擴張率；

步驟2的所述多尺度卷積神經網絡模型的損失函數中，

采用像素空間損失L_D反映估計的密度圖像素級別的準確程度，表達式為：

式中，D_i表示第K_i，i＝1......M幅訓練樣本圖像的真值密度圖，F_D(K_i；θ)表示第K_i，i＝1......M幅訓練樣本圖像的網絡輸出，θ表示網絡的可學習參數；M表示訓練圖像數量；

采用計數誤差描述L_Y增強網絡對計數的敏感性，表達式為：

式中，_FY(_Ki；θ)表示第K_i，i＝1......M幅訓練樣本圖像經由預測密度圖F_D(K_i；θ)積分求和后得到的預測人數，Y_i表示第K_i，i＝1......M幅訓練樣本圖像的真值人數；

總損失函數L表達式為：

L(θ)＝L_D(1-λ)(θ)+λL_Y(θ)，

式中，λ表示計數損失的權值。

2.根據權利要求1所述的一種基于編碼-解碼結構多尺度卷積神經網絡的人群計數方法，其特征在于，步驟1中具體包括：

步驟1.1，采集的圖像x中第i個坐標為x_i的人頭標記點，表示為函數δ(x-x_i)；對于一張具有N個人頭標記點的圖像，表示為H(x)函數，表達式為：

步驟1.2，考慮圖像的視角扭曲，采用自適應高斯濾波器G_σ與H(x)函數進行卷積，獲得密度圖方程，表達式為：

第i個坐標為x_i的人頭標記點的自適應高斯核表達式為：

式中，是標記點x_i與其最近的K個人頭之間的平均距離。

3.根據權利要求2所述的一種基于編碼-解碼結構多尺度卷積神經網絡的人群計數方法，其特征在于，步驟1.2中，參數β＝0.3。

4.根據權利要求1所述的一種基于編碼-解碼結構多尺度卷積神經網絡的人群計數方法，其特征在于，所述多尺度卷積模塊采用四個并列的1x1、3x3、5x5、7x7卷積核聚合上下文語義信息，獲取尺度信息。

5.根據權利要求1所述的一種基于編碼-解碼結構多尺度卷積神經網絡的人群計數方法，其特征在于，λ的取值為0.5。