[發明專利]包裹缺陷識別方法、裝置、設備及存儲介質

在審

• 申請號: 202110433708.6
• 申請日: 2021-04-21
• 公開（公告）號: CN113192017A
• 公開（公告）日: 2021-07-30
• 發明（設計）人: 徐夢佳;李斯;楊周龍
• 申請（專利權）人: 上海東普信息科技有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06K9/32;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京市京大律師事務所 11321
• 代理人: 姚維

本發明涉及圖像識別領域，公開了一種包裹缺陷識別方法、裝置、設備及存儲介質。本方法包括：獲取分揀結果為缺陷包裹的包裹檢測數據和對應的包裹圖像；對包裹圖像進行缺陷識別，并基于包裹檢測數據對識別后的包裹圖像進行標注，得到標注圖像；根據標注圖像構建模型訓練樣本集，并將模型訓練樣本集輸入預置Centernet模型進行包裹缺陷識別訓練，得到包裹缺陷識別模型；將獲取的分揀流水線上的包裹視頻幀輸入包裹缺陷識別模型進行識別，得到對應包裹缺陷識別結果。本方案通過訓練得到的包裹缺陷識別模型對包裹分揀中心中的破損包裹進行識別，解決了無法充分運用視頻流對破損包裹進行識別的技術問題，提高了缺陷包裹分揀效率。

技術領域

本發明涉及監控領域，尤其涉及一種包裹缺陷識別方法、裝置、設備及存儲介質。

背景技術

遠程視頻監控系統，就是通過標準電話線、網絡、移動寬帶及ISDN數據線或直接連接，可達到的世界任何角落，并能夠控制云臺/鏡頭、存儲視頻監控圖像。遠程傳輸監控系統通過普通電話線路將遠方活動場景傳送到觀看者的電腦屏幕上，并具備當報警觸發時向接收端反向撥號報警功能。現有的視頻監控系統一般由監控器和監控終端兩部分構成，監控器對監控對象進行拍攝并將拍攝視頻傳遞到監控終端。

隨著物流行業的迅猛發展，物流已經滲透人們平常生活的各個方面。隨著電子商務的普及，越來越多的人通過網絡進行商品選購。為應對越來越多的破損包裹識別需求，目前的包裹識別主要靠人工在流水線前端查看，無法通過視頻流對分揀中心的破損包裹進行識別。因此充分運用視頻流對破損包裹進行識別成了本領域技術人員需要面對的技術問題。

發明內容

本發明的主要目的是充分運用視頻流對破損包裹進行識別，實現缺陷包裹分揀自動化，提高了缺陷包裹識別分揀效率。

本發明第一方面提供了一種包裹缺陷識別方法，包括：獲取包裹的歷史分揀數據；確定所述歷史分揀數據中分揀結果為缺陷包裹的包裹檢測數據和對應的包裹圖像；對所述包裹圖像進行缺陷識別，并基于所述包裹檢測數據對識別后的包裹圖像進行標注，得到標注圖像；根據所述標注圖像構建模型訓練樣本集，并將所述模型訓練樣本集輸入預置Centernet模型進行包裹缺陷識別訓練，得到包裹缺陷識別模型；獲取分揀流水線上的包裹視頻幀，并將所述包裹視頻幀輸入所述包裹缺陷識別模型進行識別，得到所述包裹視頻幀中每個包裹的包裹缺陷識別結果。

可選地，在本發明第一方面的第一種實現方式中，所述獲取包裹的歷史分揀數據包括：獲取歷史包裹分揀場景中的多個包裹分揀圖像，將所述包裹分揀圖像輸入預置包裹識別模型進行識別，輸出所述包裹分揀圖像中個包裹的區域范圍；根據所述包裹分揀圖像中個包裹的區域范圍，從所述包裹分揀圖像中提取各包裹對應的包裹圖像；對所述包裹圖像進行識別，得到各包裹的包裹信息，并根據所述包裹信息獲取包裹的歷史分揀數據。

可選地，在本發明第一方面的第二種實現方式中，在所述將所述包裹分揀圖像輸入預置包裹識別模型進行識別，輸出所述包裹分揀圖像中個包裹的區域范圍之前，還包括：獲取包裹分揀場景中的多個第一圖像，對所述第一圖像中的包裹進行標注得到標注文件，并將所述第一圖像作為訓練樣本圖像；將所述訓練樣本圖像輸入所述ResNet-101網絡，并通過所述ResNet-101網絡提取所述訓練樣本圖像的第一特征圖；將所述第一特征圖輸入所述RPN網絡，并通過所述RPN網絡生成所述第一特征圖對應的預測框；將所述第一特征圖和所述預測框輸入所述ROI Align層，并通過所述ROI Align層對所述預測框和所述第一特征圖進行融合，得到包含所述預測框的第二特征圖；將所述第二特征圖輸入所述分類網絡，并通過所述分類網絡生成所述第二特征圖對應的預測結果；根據所述預測結果和所述標注文件，對預置MASK R-CNN模型的參數進行調整，直至所述MASK R-CNN模型收斂，得到包裹識別模型。