[發明專利]一種基于目標檢測和語義分割的人行道車輛違停檢測方法

有效

• 申請號: 202010126699.1
• 申請日: 2020-02-28
• 公開（公告）號: CN111368687B
• 公開（公告）日: 2022-07-19
• 發明（設計）人: 熊運余;趙逸如;何夢園
• 申請（專利權）人: 成都市微泊科技有限公司;四川大學
• 主分類號: G06V20/54
• 分類號: G06V20/54;G06V10/26;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 成都弘毅天承知識產權代理有限公司 51230
• 代理人: 寧政

1.一種基于目標檢測和語義分割的人行道車輛違停檢測方法，其特征在于，包括以下步驟：

步驟1：收集不同場景下監控攝像頭的監控照片，并進行語義分割的標注，得到語義分割數據集，用語義分割數據集訓練語義分割網絡，得到語義分割模型；

步驟2：收集不同場景下監控攝像頭的監控照片，并進行目標檢測的標注，得到目標檢測數據集，用目標檢測數據集訓練目標檢測網絡，得到目標檢測模型；

步驟3：獲取一段道路的監控視頻，使用混合高斯背景模型排除運動中車輛，提取視頻背景，將其轉化為干凈的單幀城市道路背景圖；

步驟4：使用語義分割算法及步驟1訓練好的語義分割模型將干凈的單幀城市道路背景圖進行語義分割，生成語義分割圖，將城市道路背景分割成人行道違停區和馬路兩種區域；

步驟5：使用感知哈希算法判斷攝像頭是否轉動，若攝像頭轉動，則返回步驟3，重新生成城市道路背景圖，若攝像頭未轉動，則進行下一步；

步驟6：使用基于深度學習的目標檢測算法及步驟2訓練好的目標檢測模型對監控視頻中的單幀圖片進行車輛目標檢測，若檢測到車輛，則標記車輛檢測框并進行下一步，若未檢測到車輛，則取下一幀圖片，返回步驟5；

步驟7：將車輛檢測框與語義分割圖進行比較，若車輛在人行道違停區域停車，則進行車輛違停報警，否則，取下一幀圖片，返回步驟5；

所述步驟5具體包括以下步驟：

步驟5.1：使用N張圖片作為訓練集，每張圖片用感知哈希算法生成一個哈希值，與其余N-1張圖片計算漢明距離，隨后對N×(N-1)個漢明距離計算平均值，所述漢明距離為計算兩個向量相似度的參數，即比較向量每一位是否相同，若不同則漢明距離加1，向量相似度越高，對應的漢明距離越小；

步驟5.2：設置閾值T為步驟5.1中平均值的m倍；

步驟5.3：對每張測試圖片用感知哈希算法計算哈希值，與訓練集內的每一張圖片的哈希值計算漢明距離，得到N個漢明距離，再對其計算平均值A；

步驟5.4：將平均值A和閾值T比較，如果平均值A比閾值T大，說明兩張圖片差異較大，可判定攝像頭已經轉動，否則，說明兩張圖片相似性較高，可判定攝像頭沒有轉動。

2.根據權利要求1所述的一種基于目標檢測和語義分割的人行道車輛違停檢測方法，其特征在于：所述步驟1中進行語義分割的標注具體為進行人行道和馬路兩個類別的標注。

3.根據權利要求1所述的一種基于目標檢測和語義分割的人行道車輛違停檢測方法，其特征在于：所述步驟1中的語義分割網絡采用DeepLabv3+模型，所述DeepLabv3+模型的網絡包括編碼器模塊和解碼器模塊，編碼器模塊逐漸壓縮特征圖，獲取高級語義信息，解碼器模塊逐漸恢復空間信息，輸出最終分割圖片。

4.根據權利要求1所述的一種基于目標檢測和語義分割的人行道車輛違停檢測方法，其特征在于：所述步驟2中進行目標檢測的標注具體為進行機動車輛類別的標注，所述機動車輛類別包括公交車、汽車、三輪車、卡車。

5.根據權利要求1所述的一種基于目標檢測和語義分割的人行道車輛違停檢測方法，其特征在于：所述步驟2中采用YOLOv3算法訓練目標檢測網絡，所述YOLOv3算法為基于深度學習和卷積神經網絡的端到端One-stage目標檢測算法。

6.根據權利要求1所述的一種基于目標檢測和語義分割的人行道車輛違停檢測方法，其特征在于：所述步驟3中使用混合高斯背景模型排除運動中車輛，提取視頻背景，具體為，基于像素樣本統計信息的背景表示方法，利用像素在較長時間內大量樣本值的概率密度統計信息表示背景，然后使用統計差分進行目標像素判斷，對復雜動態背景進行建模并提取。

7.根據權利要求1所述的一種基于目標檢測和語義分割的人行道車輛違停檢測方法，其特征在于：所述步驟5中用感知哈希算法計算哈希值，具體為，對原始圖像進行離散余弦變換，變換后DCT系數能量主要集中在左上角，保留變換后圖像的左上角8×8矩陣低頻區域，最終計算出一個64位的哈希值。

8.根據權利要求1所述的一種基于目標檢測和語義分割的人行道車輛違停檢測方法，其特征在于，所述步驟7具體包括以下步驟：

步驟7.1：對步驟6中標記的車輛檢測框，截取其檢測框的下半部分；

步驟7.2：將步驟7.1的檢測框下半部分與步驟4得到的語義分割圖相比較，計算出檢測框下半部分分別與人行道違停區域的重合面積A_sidewalk和與馬路的重合面積A_road之間的重合比例P，計算公式為：

若P1，則判定為車輛在人行道違停區域停車，進行下一步，若P≤1，則判定車輛不在人行道違停區域，并取下一幀圖片，返回步驟5；

步驟7.3：對于在人行道違停區域停車的車輛，直接進行車輛違停報警。