[發明專利]一種基于深度學習的糧庫通風窗狀態檢測算法

在審

• 申請號: 202210317338.4
• 申請日: 2022-03-28
• 公開（公告）號: CN114821154A
• 公開（公告）日: 2022-07-29
• 發明（設計）人: 金心宇;尚珂珂
• 申請（專利權）人: 浙江大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/774;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州中成專利事務所有限公司 33212
• 代理人: 金祺

1.一種基于深度學習的糧庫通風窗狀態檢測算法，其特征在于：

通過圖像或視頻采集設備采集獲取糧庫的通風窗場景圖片；在上位機中，將通風窗場景圖片輸入至糧庫通風窗狀態檢測網絡進行通風窗定位與狀態分類，獲得帶有通風窗的預測框位置、通風窗的狀態類別以及置信度的檢測結果圖像；

所述糧庫通風窗狀態檢測網絡以YOLOv5s網絡為基礎網絡，包括依次連接的主干網絡、特征融合網絡和預測頭三部分，所述主干網絡的C3模塊中加入擠壓激勵SE模塊形成SE-C3模塊；所述預測頭中，將原來的耦合頭修改為解耦頭。

2.根據權利要求1所述的一種基于深度學習的糧庫通風窗狀態檢測算法，其特征在于：

所述SE-C3模塊為將YOLOv5s基礎網絡的C3模塊中的bottleneck修改為SE-bottleneck，SE-bottleneck的輸入為上層網絡的特征圖X，特征圖X首先經過兩個卷積層形成特征圖X1，特征圖X1使用擠壓激勵SE模塊進行處理得到一個維度為通道數*1的向量t1，將向量t1與特征圖X1相乘得到特征圖X2，最后將輸入的特征圖X與特征圖X2相加得到SE-bottleneck模塊的輸出；

所述擠壓激勵SE模塊包含全局池化層、兩個全連接層和sigmoid激活函數。

3.根據權利要求2所述的一種基于深度學習的糧庫通風窗狀態檢測算法，其特征在于：

所述解耦頭的輸入為所述特征融合網絡輸出的特征圖，首先經過一個1x1的卷積層，然后分別進入分類分支和定位分支：分類分支經過兩個1*1的卷積層和sigmoid激活函數，輸出所述通風窗的狀態類別，定位分支經過一個1*1卷積層，再分為兩個分支，一個分支經過1*1的卷積層和sigmoid激活函數輸出所述置信度，另一個分支經過1*1的卷積層，輸出所述通風窗的預測框位置。

4.根據權利要求3所述的一種基于深度學習的糧庫通風窗狀態檢測算法，其特征在于：

所述糧庫通風窗狀態檢測網絡的訓練和測試過程為：將訓練集作為糧庫通風窗狀態檢測網絡訓練的輸入，以損失函數作為優化目標，利用后向傳播算法進行網絡參數的更新，訓練方式采用訓練預熱+余弦退火的方式，以隨機梯度下降SGD算法優化網絡參數，每完成一個epoch會在驗證集上進行一次驗證，共迭代100個epoches，選擇在驗證集上的mAP值大于0.8的模型文件作為訓練好的.pt模型文件；將測試集輸入訓練好的糧庫通風窗狀態檢測網絡，將得到的輸出結果與測試集的標簽進行比對，達到預設目標從而獲得在線使用的所述糧庫通風窗狀態檢測網絡。

5.根據權利要求4所述的一種基于深度學習的糧庫通風窗狀態檢測算法，其特征在于：

所述訓練集和測試集的劃分過程為：采集不同角度、天氣、光照下對糧庫中不同開關狀態的通風窗的圖像數據，篩選具有不同角度、天氣和光照組合的糧庫通風窗的圖像進行數據增強操作，包括對比度增強、反轉、鏡像、裁剪，然后對數據增強操作后的圖像標注出通風窗位置，并生成包含對應圖像中目標位置和狀態類別的txt標簽文件，將標注后的圖像及其對應txt標簽文件按7：1：2的比例劃分為所述訓練集、驗證集和測試集。

6.根據權利要求5所述的一種基于深度學習的糧庫通風窗狀態檢測算法，其特征在于：

所述狀態類別分為打開、閉合、半開、閉合不緊密四種。

7.根據權利要求6所述的一種基于深度學習的糧庫通風窗狀態檢測算法，其特征在于：

所述損失函數包括分類損失、位置損失函數和置信度損失，分類損失和置信度損失與YOLOv5s網絡的分類損失和置信度損失一致，位置損失函數為CIoUloss，公式如下：

其中，d代表的是計算兩個中心點之間的歐式距離，c代表閉包的對角線距離，IoU表示交并比(Intersection Over Union)為預測框和真實的標注框的重疊面積與二者總面積的比值；α是用來調節的參數，v是衡量長寬比一致性的參數，計算方式為：

w表示預測框的寬度，h表示預測框的高度。