[發明專利]一種垃圾自動分揀多目標檢測方法

在審

• 申請號: 202210123927.9
• 申請日: 2022-02-10
• 公開（公告）號: CN114494884A
• 公開（公告）日: 2022-05-13
• 發明（設計）人: 杜金蓮;黃紅蝶;蘇航;金雪云;趙青
• 申請（專利權）人: 北京工業大學
• 主分類號: G06V20/10
• 分類號: G06V20/10;G06V10/44;G06V10/764;G06V10/82;G06V10/80;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 沈波

1.一種垃圾自動分揀多目標檢測方法，其特征在于：該方法包括如下步驟，

步驟一：提取圖像特征；

構建由特征提取器和分類器組成的分類網絡，其中特征提取器包括五個特征提取單元和一個小目標特征提取單元，將第i個特征提取單元提取到的特征用F_i表示；

F_i＝C×H×W (1)

其中，C代表channel，H代表高度，W代表寬度；

使用局部注意力機制與全局注意力機制相結合的方法，使網絡關注檢測目標而忽略對分類有干擾的背景信息；將F_i通過格拉姆矩陣構建的局部注意力機制與其轉置相乘得到局部特征，將F_i通過全局池化，在保留原始空間信息和語義信息的同時得到全局特征，然后將局部特征與全局特征相乘，獲得第i個特征提取單元的最終特征；

其中表示第i個特征提取單元的最終特征，表示第i個特征提取單元的局部特征，表示第i個特征提取單元的全局特征；

使用resnet101的101層卷積層進行特征提取，使用殘差學習，殘差塊的構成為，首先使用1×1的卷積層進行降維，然后使用3×3的卷積層進行特征提取，再使用1×1的卷積層進行還原，將殘差塊輸入特征和輸出特征相加，作為下一個殘差塊的輸入；

步驟二：特征融合；

將每個特征提取單元提取到的特征進行融合，特征融合的公式如下所示；

其中，F表示融合后的特征，x表示1×1的卷積核，表示第i個特征提取單元提取到的特征，b表示偏置；

步驟三：獲取小目標特征信息；

獲取小目標特征信息的具體過程為，首先將反卷積操作作用于特征圖conv7，增大其分辨率至輸入圖像尺寸，使得目標特征顯著；然后提取卷積層conv7的特征圖的特征信息，映射到deconv7上，特征映射包含特征圖像素點的映射和感受野坐標的映射；再將deconv7進行池化；將此步驟獲取得到特征圖與步驟三獲得的特征進行融合，得到最終的特征圖；特征融合的公式如下所示；

F_final＝F+a₁v(deconv7)+a₂v(conv8_2)+a₃v(conv9_2)+a₄v(conv10_2) (4)

其中，F_final表示融合后的特征，F表示五個特征提取單元獲取的特征，v表示特征層的特征信息的函數，a₁、a₂、a₃、a₄為權重系數，值依次為0.3、0.25、0.25、0.2，deconv7表示包含小目標特征的特征層，conv8_2、conv9_2、conv10_2分別表示大小為10*10、5*5、3*3的特征層；

步驟四：分類；

所構建的分類器由一個全連接層和softmax層組成，將步驟三融合后的特征作為全連接層的輸入，使用softmax函數進行分類，分別得到廚余垃圾、可回收垃圾、其他垃圾、有害垃圾這四個類別的預測概率，且四個類別的預測概率和為1，輸出分類結果。

2.根據權利要求1所述的一種垃圾自動分揀多目標檢測方法，其特征在于：步驟一中，經過第一個特征提取單元得到特征F1，將F1通過格拉姆矩陣構建的局部注意力機制與通過全局池化，得到的全局注意力機制相乘，得到F_f¹；以此類推，則五個特征提取單元獲得的特征分別加以全局注意力和局部注意力機制之后得到的特征分別為

3.根據權利要求1所述的一種垃圾自動分揀多目標檢測方法，其特征在于：步驟二：將步驟二中的五個特征進行特征融合，得到特征F。

4.根據權利要求1所述的一種垃圾自動分揀多目標檢測方法，其特征在于：步驟三：首先將反卷積操作作用于特征圖conv7，增大其分辨率至輸入圖像尺寸，使得目標特征更加顯著；然后提取卷積層conv7的特征圖的特征信息，映射到deconv7上，此處的特征映射包含特征圖像素點的映射和感受野坐標的映射；再將deconv7進行池化；將此步驟獲取得到特征圖與步驟三獲得的特征進行融合，得到最終的特征圖。

5.根據權利要求1所述的一種垃圾自動分揀多目標檢測方法，其特征在于：步驟四：將步驟三的輸出作為分類器的輸入，分別得到廚余垃圾、可回收垃圾、其他垃圾、有害垃圾這四個類別的概率，且概率和為1，輸出最終的分類結果；

特征提取單元中包含的第二個特征提取單元中的其第二個residual模塊結構示意圖；通過使用通道數和輸入特征圖一樣的大小為1×1的卷積塊作為每一個殘差塊的起始層，用以降維，通過使用卷積核個數和輸入特征圖一樣的大小為1×1的卷積塊作為每一個殘差塊的結束層，用以升維，以保持主干特征圖維度的一致性。