[發明專利]一種基于語義信息特征增強的道路小型拋灑物檢測方法

在審

• 申請號: 202310299713.1
• 申請日: 2023-03-20
• 公開（公告）號: CN116310650A
• 公開（公告）日: 2023-06-23
• 發明（設計）人: 邵奇可;葉文武;鄭泖琛;顏世航
• 申請（專利權）人: 浙江工業大學
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V10/764;G06V10/82;G06V10/40;G06V10/25;G06V10/80;G06N3/0464;G06N3/08
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 忻明年

1.一種基于語義信息特征增強的道路小型拋灑物檢測方法，其特征在于：所述基于語義信息特征增強的道路小型拋灑物檢測方法包括如下步驟：

S1、構建訓練數據集N＝{X,Y}，其中，X代表訓練圖片集合，Y代表標簽集合，所述標簽包括對應訓練圖片中K個目標的類別編碼和位置編碼；

S2、建立拋灑物檢測網絡模型并采用訓練數據集進行訓練，所述拋灑物檢測網絡模型包括特征提取模塊、預選框提取模塊、第一RoIAlign模塊、第一物品識別模塊、第二RoIAlign模塊、第二物品識別模塊、第三RoIAlign模塊和第三物品識別模塊，所述特征提取模塊包括骨干網絡和FPN網絡，所述物品識別模塊包括分類分支和回歸分支，所述拋灑物檢測網絡模型的訓練過程如下：

S21、將訓練數據集中的訓練圖片輸入骨干網絡，獲得第一特征圖f；

S22、利用FPN網絡對第一特征圖f進行特征提取，獲得第二特征圖F；

S23、將第二特征圖F輸入預選框提取模塊，獲得候選框集合P；

S24、對候選框集合P進行Soft-NMS處理，獲得新候選框集合P′；

S25、將第二特征圖F和新候選框集合P′通過第一RoIAlign模塊形成第三特征圖F₁，并采用第一物品識別模塊對第三特征圖F₁進行檢測，獲得第一預測框B₁；

S26、將第二特征圖F和第一預測框B₁通過第二RoIAlign模塊形成第四特征圖F₂，并采用第二物品識別模塊對第四特征圖F₂進行檢測，獲得第二預測框B₂；

S27、將第二特征圖F和第二預測框B₂通過第三RoIAlign模塊形成第五特征圖F₃，并采用第三物品識別模塊對第五特征圖F₃進行檢測，獲得第三預測框B₃；

S28、計算總損失函數并更新網絡參數，直至訓練完成；

S3、將待檢測圖片輸入訓練好的拋灑物檢測網絡模型，獲得第三預測框B₃作為檢測結果。

2.如權利要求1所述的基于語義信息特征增強的道路小型拋灑物檢測方法，其特征在于：所述骨干網絡為ConvNeXt-T網絡。

3.如權利要求2所述的基于語義信息特征增強的道路小型拋灑物檢測方法，其特征在于：所述FPN網絡還包括上下文提取模塊，所述上下文提取模塊執行如下操作：

分別使用空洞卷積率為3、6、12、18、24的空洞卷積對ConvNeXt-T網絡的第四個階段的輸出特征圖C5進行卷積操作，對應獲得第一感受野特征、第二感受野特征、第三感受野特征、第四感受野特征和第五感受野特征；

將各感受野特征通過concatenate函數融合，形成第一融合特征；

通過1×1卷積調整第一融合特征的通道數；

利用CA注意力機制模塊對調整后的第一融合特征進行特征提取，獲得注意力圖；

將注意力圖和調整后的第一融合特征進行相乘操作，形成第二融合特征；

將ConvNeXt-T網絡的第四個階段的輸出特征圖C5和第二融合特征進行相加操作，形成第三融合特征，更新所述第二特征圖F中ConvNeXt-T網絡的第四個階段的輸出特征圖C5為第三融合特征。