[發明專利]一種城市街道垃圾檢測和清潔度評估方法

有效

• 申請號: 201810901959.0
• 申請日: 2018-08-09
• 公開（公告）號: CN109165582B
• 公開（公告）日: 2021-09-24
• 發明（設計）人: 張鵬程;趙齊;賈旸旸;金惠穎;王繼民;吉順慧
• 申請（專利權）人: 河海大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06T7/00;G06Q10/06;G06Q50/26
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 李玉平

1.一種基于移動邊緣計算和深度學習的城市街道垃圾檢測和清潔度評估方法，其特征在于，包括如下步驟：

步驟1：垃圾收集車和城市居民持移動設備進行街景圖象數據收集；包括：

步驟11：使用安裝有攝像機的清潔車按照設定路線在街道上定點拍照，照片包含街道道路的垃圾狀況；同時相鄰拍攝點之間的距離由管理員設定，每個拍攝點按前、后、左、右四個方向進行全方位拍攝，拍攝范圍設定在150-300m²；對于清潔車，設定以下規定：1)固定的圖像分辨率；2)固定的車速；3)固定距離的拍攝點；4)每個拍攝點拍攝4張圖片；

步驟12：如果城市居民手持拍照設備自主收集街道圖像信息，拍照規則參見清潔車；

步驟2：邊緣服務器對街景圖象進行預處理；

步驟3云服務器進行垃圾檢測模型訓練；

步驟4：云服務器對街景圖象進行垃圾檢測并進行垃圾計數；

步驟5：基于垃圾識別結果進行街道清潔度計算；包括：

步驟51：首先確定街道抽樣最小數量n，

其中n是最小樣本數量，k是采樣間隔，p代表采樣發生的可能性，q代表采樣不發生的可能性，記為q＝1-p，N是城市街道的總數量，e是估計誤差；

步驟52：計算街道清潔度指數值SV，

其中S是觀察區域；λ和a是影響城市街道清潔度的修正因子，C是街道垃圾加權數量；

步驟53：根據街道清潔度指數值，對街道進行清潔度分類；

步驟6：基于層次評估模型展示城市各層次清潔度圖；包括：

步驟61：建立層次清潔度模型，分為城市-區域-塊-街道四層；

步驟62：基于層次清潔度模型，首先進行街道層次評估，街道層次評估也就是街道清潔度計算值，具體計算過程參見步驟52；

步驟63：計算塊層次模型清潔度BV，

其中，BV是區域里一個塊的評估值，SV代表每條街道的評估值，m₁代表塊內街道的總數量；

步驟64：計算區域層次模型清潔度AV，

其中AV代表一個區域的評估值，BV代表這個區域里每個塊的評估值，m₂代表區域里塊的總數量；

步驟65：計算城市層次模型清潔度CV，

其中CV代表一個城市的評估值，AV是這個城市里每個區域的評估值，m₃代表城市里區域的總數量；

步驟66：基于各層清潔度計算結果展示城市各層次清潔度圖。

2.如權利要求1所述的基于移動邊緣計算和深度學習的城市街道垃圾檢測和清潔度評估方法，其特征在于，街景圖象數據預處理過程通過邊緣服務器進行圖片篩選，剔除一些不必要的信息來減少整個系統處理的時延，所述步驟2包括如下步驟：

步驟21：邊緣服務器將收集到的街景圖像數據進行剪裁處理，圖片尺寸為420×400像素；

步驟22：然后進行人工道路檢測并進行篩選，如果檢測出圖片含有道路可行區域，即為有效數據，傳進云中心進行道路垃圾檢測，如果檢測出圖片無道路可行區域，則予以刪除。

3.如權利要求1所述的基于移動邊緣計算和深度學習的城市街道垃圾檢測和清潔度評估方法，其特征在于，所述步驟3云服務器進行垃圾檢測模型訓練過程中，通過RPN和FastR-CNN兩大模塊實現提取候選框并識別候選框目標，Faster-RCNN算法是計算機視覺領域目標檢測的一種方法，所述步驟3包括如下步驟：

步驟31：基于ZF-Net網絡的設計，為得到特征圖做準備；

步驟32：輸入含有垃圾的街道圖片數據集，并傳輸進ZF卷積神經網絡進行特征提取；

步驟33：進行RPN網絡預訓練，生成區域建議框，給出區域建議和區域得分；

步驟34：用步驟33得到的區域建議框進行Fast R-CNN網絡端到端微調訓練；

步驟35：使用步驟34微調后的Fast R-CNN網絡重新初始化RPN網絡，固定共享卷積層，通過邊界框回歸微調RPN網絡獨有的層，同時生成建議區域；

步驟36：固定步驟35共享卷積層，同時利用步驟35得到的區域建議，微調Fast R-CNN的全連接層。

4.如權利要求1所述的基于移動邊緣計算和深度學習的城市街道垃圾檢測和清潔度評估方法，其特征在于，為了利用訓練的模型進行垃圾檢測，所述步驟4進一步為：

步驟41：輸入街道測試圖像；

步驟42：基于ZF卷積神經網絡通過計算把圖像特征反映到特征圖；

步驟43：每個RPN候選卷積神經網絡對應計算出一個候選區域，生成候選建議框；步驟44：候選建議框通過全連接層即分類層和回歸層顯示垃圾候選區域框和該區域的分類得分；

步驟45：利用計數函數對生成的候選區域框進行計數即檢測的垃圾數量，設計數函數為

其中C為生成候選框的計數函數，也就是被檢測的某個類別垃圾的數量，f為垃圾模型檢測到的結果函數，D為測試樣本集，x為測試樣本，y為真實垃圾標記，i為輸入測試樣本的數量。