[發明專利]基于骨骼點融合循環空洞卷積的亂丟垃圾行為檢測方法

有效

• 申請號: 202010167698.1
• 申請日: 2020-03-11
• 公開（公告）號: CN111507182B
• 公開（公告）日: 2021-03-16
• 發明（設計）人: 姜明;周美佳;李鵬飛;湯景凡;張旻
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 朱月芬

本發明公開了一種基于骨骼點融合循環空洞卷積的亂丟垃圾行為檢測方法。本發明采集包含亂丟垃圾行為的圖像集進行預訓練；獲取預訓練后圖像集中亂丟垃圾行為個體的圖像訓練集，并對其中圖像人工定義亂丟垃圾行為的人體骨骼點分布；基于人體骨骼點分布制作圖像訓練集中每個圖像的骨骼點熱圖；構建基于骨骼點融合循環空洞卷積的亂丟垃圾行為檢測網絡；將預訓練后圖像集輸入亂丟垃圾行為檢測網絡，使用梯度下降法迭代更新網絡獲取最優亂丟垃圾行為檢測網絡；將測試集中連續幾幀的檢測圖像輸入最優亂丟垃圾行為檢測網絡中，獲取相應的骨骼點分布序列，并進行相似度計算，判斷是否為亂丟垃圾行為。本發明能夠在復雜場景中十分準確地檢測亂丟垃圾行為。

技術領域

本發明涉及計算機視覺和圖像識別，具體涉及一種基于骨骼點融合循環空洞卷積的亂丟垃圾行為檢測方法，屬于計算機視覺圖像處理技術領域。

背景技術

目前國家正處于高速城鎮化的階段，環境問題是當前亟待解決的問題。利用目前的圖像處理技術進行亂丟垃圾行為檢測對于建設美好城鎮具有重要意義。已經存在基于圖像語義信息的拋物識別方法，它是基于軌跡檢測的，通過繪制拋擲物品的軌跡以及背景界限，判斷是否為亂丟垃圾，但是該方法嚴重依賴圖像背景，應用范圍狹隘。由于深度學習在圖像識別方面的成熟應用，基于人體姿態估計檢測亂丟垃圾行為的方法被提出，能夠降低環境依賴性，應用范圍更廣。但是人體姿態檢測存在一些缺陷，早期通過將局部檢測器與構造約束相結合來實現人體姿態估計，隨著卷積神經網絡的應用，雖然極大地提升了檢測性能，但是卷積過程會造成圖像信息的缺失，在高遮擋、背景環境和人體區分不大等的情況下，會產生錯誤的骨骼點估計。

發明內容

本發明的目的是針對現有技術的不足，提供一種基于骨骼點融合循環空洞卷積的亂丟垃圾行為檢測方法，能適應復雜環境下的亂丟垃圾行為檢測，以解決目前基于人體姿態檢測方法在遮擋和復雜環境下難以精確估計視頻中人物骨骼點、計算量大的難題。

基于骨骼點融合循環空洞卷積的亂丟垃圾行為檢測方法，包括以下步驟：

步驟(S1)采集亂丟垃圾行為圖像訓練集，進行預訓練；

步驟(S2)通過目標檢測算法獲取亂丟垃圾行為的個體，人工定義訓練集中亂丟垃圾行為的人體骨骼點分布；

步驟(S3)基于步驟S2，制作訓練圖像的骨骼點熱圖；

步驟(S4)構建基于骨骼點融合循環空洞卷積的亂丟垃圾行為檢測方法的網絡架構；

步驟(S5)輸入亂丟垃圾圖像集訓練網絡，使用梯度下降法迭代更新網絡；

步驟(S6)輸入連續幾幀的檢測圖像獲取相應的骨骼點分布序列，并進行相似度計算，判斷是否為亂丟垃圾行為。

本發明具有的優點如下：

1.利用神經網絡強大的自我學習性，通過人體姿態檢測可以減低行為檢測對背景環境的依賴性，擴大適用范圍；

2.引入了空洞卷積，能夠在不增加額外參數的情況下增大輸入圖像的感受野，極大地降低了計算復雜性；

3.通過循環模塊攜帶的上下文語義信息，可以從身體其他關鍵點的分布推斷出被遮擋部位的關節點。

附圖說明

圖1是本發明的整體實施方案流程圖；

圖2是本發明的訓練模型示意圖；

圖3是本發明的循環空洞卷積示意圖；

具體實施方式

下面結合附圖對本發明作進一步描述。

本發明的整體實施方案流程圖參照圖1，基于骨骼點融合循環空洞卷積的亂丟垃圾行為檢測方法，包括以下步驟：

步驟(S1)采集包含亂丟垃圾行為的圖像集，進行預訓練；