[發(fā)明專利]包裝異物檢測方法及系統(tǒng)、計算機可讀存儲介質及終端

在審

• 申請?zhí)枺?/td>: 202310052220.8
• 申請日: 2023-02-02
• 公開（公告）號: CN116310708A
• 公開（公告）日: 2023-06-23
• 發(fā)明（設計）人: 王盼;劉縱橫;鄒龍川;黃波;劉益江;張勇;劉中
• 申請（專利權）人: 成都新西旺自動化科技有限公司
• 主分類號: G06V10/82
• 分類號: G06V10/82;G06V10/20;G06V10/774;G06V10/764;G06V20/70
• 代理公司: 成都拓荒者知識產權代理有限公司 51254
• 代理人: 楊爭華

1.一種包裝異物檢測方法，其特征在于，包括，

S1：獲取YOLO算法中yolov5s算法模型作為目標算法模型；

S2：獲取訓練數(shù)據(jù)集與驗證數(shù)據(jù)集，通過標注軟件將圖像中的包裝異物真實類別和邊界框進行標注，生成目標格式文件；

S3：將目標格式文件存入相關的訓練集文件和驗證集文件中并設置目標算法模型中的訓練參數(shù)；

S4：將訓練集中的圖像進行圖像預處理，然后將預處理后的圖像送入目標算法模型中進行訓練，觀察相關參數(shù)值在訓練過程中的變化規(guī)律和相關曲線呈現(xiàn)規(guī)律；

S5：將訓練好的目標檢測模型封裝為檢測模型文件，調用檢測模型文件實現(xiàn)包裝異物檢測。

2.根據(jù)權利要求1所述的一種包裝異物檢測方法，其特征在于，S2中獲取訓練數(shù)據(jù)集與驗證數(shù)據(jù)集，

獲取不同光照環(huán)境下的包裝整體圖像，通過局部放大、剪裁的方式并將包裝圖像上的多類異物按分類標注出來。

3.根據(jù)權利要求2所述的一種包裝異物檢測方法，其特征在于，

搭建不規(guī)則異物包裝內部仿真模型，將包裝內物料和不規(guī)則異物置于高曝光環(huán)境中并按照包裝排列順序進行搭建，改變異物的形狀與方位逐一進行拍照成像；

搭建不規(guī)則異物包裝外部仿真模型，將異物緊貼包裝外部，按照包裝排列順序進行搭建，改變異物的形狀與方位逐一進行拍照成像。

4.根據(jù)權利要求3所述的一種包裝異物檢測方法，其特征在于，S2中獲取訓練數(shù)據(jù)集與驗證數(shù)據(jù)集，

采用9-Mosaic數(shù)據(jù)增強方法，具體為，從數(shù)據(jù)集中取出一組圖片數(shù)據(jù)，隨機選取9張圖片，分別為一張加載圖片和八張用于拼接圖片，采用隨機裁剪、隨機縮放、隨機排列的處理方式將9張圖片拼接成一張新的圖片，使用同樣的方法將所有數(shù)據(jù)集中的圖片進行處理。

5.根據(jù)權利要求4所述的一種包裝異物檢測方法，其特征在于，在yolov5特征提取部分的SPPF模塊前具有注意力機制模塊，yolov5的損失函數(shù)為：

其中b，b^gt分別表示預測框和真實框的中心點，ρ表示計算兩個中心點間的歐式距離,c表示能同時包含預測框和真實框的最小閉包區(qū)域的對角線距離，α表示調節(jié)超參數(shù)，v表示長寬比的相似性，β表示長寬比的相似性的權重。

6.根據(jù)權利要求5所述的一種包裝異物檢測方法，其特征在于，S4中目標算法模型的訓練方法，

通過yolov5s算法模型提取包裝異物的圖像特征，并進行多尺度特征融合，對得到的融合特征圖以逐像素方式進行重構，得到重構特征圖，標注目標的真實框在重構特征圖上對應的正采樣區(qū)域，根據(jù)真實框的標注信息確定正采樣區(qū)域中每個空間位置的訓練目標，由訓練目標對檢測模型進行訓練。

7.根據(jù)權利要求6所述的一種包裝異物檢測方法，其特征在于，由訓練目標對檢測模型進行訓練中包括；

交叉驗證：對每一類異物特征圖進行訓練，調整至不同參數(shù)進行訓練，確定實驗結果最好的一次訓練參數(shù)，并把各類異物預測最好的檢測權重參數(shù)放入其它類異物預測圖中進行交叉預測；

分類歸集：在交叉預測的預測結果中，若A類異物權重參數(shù)正確預測B類異物的類別的概率達到第一準確率，而B類異物權重參數(shù)正確預測A類異物的類別的概率不能達到第一準確率，則表明A類異物包含B類異物，則可將B類異物歸集到A類異物當中，并用A類異物權重參數(shù)代替B類異物權重參數(shù)；

總體訓練：將異物重新分類后的異物包裝圖像進行總體訓練，通過調整訓練參數(shù)對總體檢測準確度進行提升，當調整各參數(shù)與檢測準確度達到第一閾值區(qū)間且不再變化時，包裝異物總體目標的訓練結束，得到目標檢測模型。

8.一種包裝異物檢測系統(tǒng)，其特征在于，包括，

可執(zhí)行權利要求1-7任意所述的一種包裝異物檢測方法。

9.一種計算機可讀存儲介質，其特征在于，

用于存儲指定計算機程序，所述指定計算機程序的執(zhí)行可實現(xiàn)權利要求1-7任意所述的一種包裝異物檢測方法。

10.一種終端，其特征在于，包括：

成像標注模塊、特征提取模塊、分類歸集模塊、總體訓練模塊、檢測識別模塊；

用于存儲可執(zhí)行程序代碼的存儲器，處理器；

其中，所述成像標注模塊用于獲取訓練數(shù)據(jù)集與驗證數(shù)據(jù)集，通過標注軟件將圖像中的包裝異物真實類別和邊界框進行標注，生成目標格式文件；

其中，所述特征提取模塊用于提取帶有異物的包裝圖像的圖像特征，并進行多尺度特征融合，對得到的融合特征圖以逐像素方式進行重構，得到重構特征圖；

其中，所述分類歸集模塊用于對每一類異物特征圖進行單獨訓練，將各類異物預測最好的檢測參數(shù)用于其它類異物預測圖當中進行交叉預測，并對預測結果進行分類歸集，得到改進的包裝異物分類結果；

其中，所述總體訓練模塊用于將異物分類后的包裝圖像進行總體訓練，得到目標檢測模型；

其中，所述檢測識別模塊用于對待測帶有異物的包裝圖像采用目標檢測模型及參數(shù)得到包裝上不同異物識別結果；

其中，處理器與存儲器耦合，處理器調用存儲器中存儲的所述可執(zhí)行程序代碼，執(zhí)行如權利要求1-7任意一項所述的一種包裝異物檢測方法。