[發明專利]基于改進型CNN網絡的旅游觀光車客流統計算法

有效

• 申請號: 202010115258.1
• 申請日: 2020-02-25
• 公開（公告）號: CN111382678B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 呂攀;楊國青;李夷奇;李紅;吳朝暉
• 申請（專利權）人: 浙江大學
• 主分類號: G06V20/52
• 分類號: G06V20/52;G06V10/26;G06V10/77;G06V10/82;G06Q50/14;G06N3/0464
• 代理公司: 杭州天勤知識產權代理有限公司 33224
• 代理人: 王琛

1.一種基于改進型CNN網絡的旅游觀光車客流統計方法，包括如下步驟：

(1)離線采集觀光車平時運營條件下的客流視頻圖像，并制作樣本數據集；

(2)以YOLOv3模型為基礎構建改進型CNN網絡；

所述改進型CNN網絡包括特征提取模塊和多尺度預測模塊，改進型CNN網絡的特征提取模塊為將SENet結構嵌入到YOLOv3模型的特征提取模塊Darknet53網絡中所得到新的網絡結構SE-Darknet53；

所述網絡結構SE-Darknet53產生大小為13×13×1024的特征圖，經過上采樣與淺層特征圖連接，輸出三個不同尺寸的特征圖；所述多尺度預測模塊以這三個不同尺寸的特征圖作為輸入，分別通過三個分支對這三個不同尺寸的特征圖進行預測以生成候選檢測框，輸出包括候選檢測框的坐標值與候選檢測框含有乘客的概率值；

所述網絡結構SE-Darknet53包含有多個SE-ResBlock，所述SE-ResBlock由YOLOv3模型中原有的ResNet?Block結構與SENet結構串接而成，用于加深網絡，顯式地構建特征通道之間的相互依賴關系，擴大特征圖對全局信息的感知范圍；

所述SENet結構由Squeeze、Excitation、Reweight三部分構成，用于顯式地構建特征通道之間的相互依賴關系，其中：

所述Squeeze部分用于對輸入特征圖進行全局平均池化，將一張特征圖轉換為一個數；

所述Excitation部分通過兩個全連接層和sigmoid函數對Squeeze部分的輸出進行激活，得到每個特征通道的權重；

所述Reweight部分用于將Excitation部分得到的權重與其對應輸入特征圖各通道數據分別相乘后輸出；

(3)利用樣本數據集對改進型CNN網絡進行訓練；

(4)利用訓練好的CNN網絡對旅游觀光車的實時視頻圖像進行檢測識別，得到乘客檢測框；

(5)根據步驟(4)識別得到的乘客檢測框進行客流統計。

2.根據權利要求1所述的旅游觀光車客流統計方法，其特征在于：所述樣本數據集中的每張圖像需標注包含乘客肩部以上及頭部在內的檢測框的坐標、每個檢測框所對應乘客坐于觀光車的第幾排、每一排檢測框的尺寸均值。

3.根據權利要求1所述的旅游觀光車客流統計方法，其特征在于：所述多尺度預測模塊在生成候選檢測框后，通過尺寸敏感的非極大值抑制算法對冗余候選檢測框進行剔除。

4.根據權利要求3所述的旅游觀光車客流統計方法，其特征在于：所述非極大值抑制算法的具體實現過程為：對于多尺度預測模塊識別出的候選檢測框，將這些候選檢測框組成集合，首先從集合中選取概率值最大的候選檢測框B_m添加到最終輸出列表中；然后逐一從集合中取出候選檢測框進行以下判斷，直至集合為空；

對于從集合中取出的任一候選檢測框B_i，將B_i的尺寸與圖像中每一排檢測框的尺寸均值進行比較，得到與B_i尺寸最接近所對應的排序號ID_i，同樣的方法得到與B_m尺寸最接近所對應的排序號ID_m，若ID_i≠ID_m，則將B_i添加到最終輸出列表中；若ID_i＝ID_m，則判定B_i與B_m屬于同一排座位，進一步計算兩者的交并比，若交并比大于設定的閾值，則剔除B_i，否則將B_i添加到最終輸出列表中。