[發明專利]一種基于邊緣計算和深度學習的垃圾箱垃圾識別方法

在審

• 申請號: 202010168548.2
• 申請日: 2020-03-12
• 公開（公告）號: CN111217062A
• 公開（公告）日: 2020-06-02
• 發明（設計）人: 李清秋;張鵬程;趙齊
• 申請（專利權）人: 河海大學
• 主分類號: B65F1/14
• 分類號: B65F1/14;B65F1/00;G06N3/04;G06N3/08
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 成立珍

1.一種基于邊緣計算和深度學習的垃圾箱垃圾識別方法，其特征在于，包括如下步驟：

步驟1：投放者將待投放的垃圾放在高分辨率攝像機前進行掃描，高分辨率攝像機設置在垃圾箱上；

步驟2：邊緣服務器根據已訓練好的垃圾檢測模型識別待投放垃圾，同時存儲垃圾圖片數據，將未標記的垃圾數據上傳至云服務器；

步驟3：顯示屏上顯示垃圾類別檢測結果及語音播報。

2.如權利要求1所述的基于邊緣計算和深度學習的垃圾箱垃圾識別方法，其特征在于，云服務器根據垃圾分類標準運用SSD算法訓練垃圾檢測模型，具體為：

步驟11：使用SSD框架結構，在VGG16網絡中將最后兩個全連接層改成卷積層，并增加4個卷積層來構造網絡結構，在這6層上依次提取feature map，最終得到8732個缺省檢測框；

步驟12：prior box為被使用的缺省檢測框的包圍盒，將prior box和實際目標框按照IOU值的大小進行匹配；匹配時先從實際目標框的角度出發，找到與目標相匹配的IOU值最大的缺省檢測框進入候選正樣本集；其中IOU值指的是目標的真實邊框和檢測算法得到的預測框之間的重疊率，其具體計算公式如下：

步驟13：由于由步驟12所確定的正樣本數量太少，所以接著從缺省檢測框的角度出發，在缺省檢測框與實際目標框滿足IOU＞0.5的樣本集中，選擇最大的缺省檢測框，也放入正樣本集；

步驟14：最后，將每個物體所對應的缺省檢測框的置信度進行排序，從低到高選出一定數量的缺省檢測框，存入負樣本集，使得prior box中的正負樣本比為1:3，由此可得良好的訓練樣本；

步驟15：求損失函數，損失函數為位置誤差和置信度誤差的加權和，公式為：

其中：L_conf和L_loc分別代表的是類別置信度的損失函數和搜索框位置的損失函數；N代表匹配到真實框的prior box的數量；c為置信度，l為垃圾預測框，g為垃圾真實框；α參數用于調整confidence loss和location loss之間的比例，默認α＝1；

搜索框位置的損失函數為：

其中，為第i個垃圾預測框與第j個垃圾真實框關于類別k是否匹配，為0代表不匹配，為1代表匹配；cx,cy,w,h分別表示垃圾邊界框的中心橫坐標、垃圾邊界框的中心縱坐標、邊界框的寬度、邊界框的高度；m沒有具體的含義，參數m∈cx,cy,w,h，即分別取cx,cy,w,h這四個值；

smooth_L1(x)損失函數的定義為

l^m表示預測的目標框相對于defaultbox的偏移量，g^m表示真實的目標框相對于defaultbox的偏移量；求g^m的公式為：

其中d表示垃圾真實框的參數，g表示垃圾預測框的參數；

類別置信度的損失函數為：

其中，表示垃圾預測框i與垃圾真實框j關于類別p匹配，p的概率預測越高，損失越小；表示垃圾預測框沒有物體，預測為背景的概率越高損失越小；置信度c通過SoftMax產生；

步驟16：預訓練；對于每個預測框，首先根據類別置信度確定其類別與置信度值，并過濾掉屬于背景的預測框；然后根據IOU(＝0.5)過濾掉閾值較低的預測框，對于留下的預測框進行解碼，根據先驗框得到其真實的位置參數，解碼之后，需要根據置信度進行降序排列，然后僅保留Top-k(＝400)個預測框；最后進行非極大抑制算法，過濾掉重疊度較大的預測框，最后剩余的預測框即是檢測結果。

3.如權利要求1所述的基于邊緣計算和深度學習的垃圾箱垃圾識別方法，其特征在于，步驟1具體包括：在垃圾箱上安裝高分辨率攝像機，拍攝分辨率為300×300；攝像機將掃描所得的圖像通過socket上傳至邊緣服務器，邊緣服務器運用SSD算法檢測圖片是否在已有的垃圾模型中被標記，未被標記，就以二進制的形式存入邊緣服務器的非易失存儲器中，并上傳至云服務器，云服務器運用SSD框架訓練垃圾檢測模型，更新模型。