[發明專利]包裹缺陷識別方法、裝置、設備及存儲介質

在審

• 申請號: 202110433708.6
• 申請日: 2021-04-21
• 公開（公告）號: CN113192017A
• 公開（公告）日: 2021-07-30
• 發明（設計）人: 徐夢佳;李斯;楊周龍
• 申請（專利權）人: 上海東普信息科技有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06K9/32;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京市京大律師事務所 11321
• 代理人: 姚維

1.一種包裹缺陷識別方法，其特征在于，所述包裹缺陷識別方法包括：

獲取包裹的歷史分揀數據；

確定所述歷史分揀數據中分揀結果為缺陷包裹的包裹檢測數據和對應的包裹圖像；

對所述包裹圖像進行缺陷識別，并基于所述包裹檢測數據對識別后的包裹圖像進行標注，得到標注圖像；

根據所述標注圖像構建模型訓練樣本集，并將所述模型訓練樣本集輸入預置Centernet模型進行包裹缺陷識別訓練，得到包裹缺陷識別模型；

獲取分揀流水線上的包裹視頻幀，并將所述包裹視頻幀輸入所述包裹缺陷識別模型進行識別，得到所述包裹視頻幀中每個包裹的包裹缺陷識別結果。

2.根據權利要求1所述的包裹缺陷識別方法，其特征在于，所述獲取包裹的歷史分揀數據包括：

獲取歷史包裹分揀場景中的多個包裹分揀圖像，將所述包裹分揀圖像輸入預置包裹識別模型進行識別，輸出所述包裹分揀圖像中個包裹的區域范圍；

根據所述包裹分揀圖像中個包裹的區域范圍，從所述包裹分揀圖像中提取各包裹對應的包裹圖像；

對所述包裹圖像進行識別得到各包裹的包裹信息，并根據所述包裹信息獲取包裹的歷史分揀數據。

3.根據權利要求2所述的包裹缺陷識別方法，其特征在于，在所述將所述包裹分揀圖像輸入預置包裹識別模型進行識別，輸出所述包裹分揀圖像中個包裹的區域范圍之前，還包括：

獲取包裹分揀場景中的多個第一圖像，對所述第一圖像中的包裹進行標注得到標注文件，并將所述第一圖像作為訓練樣本圖像；

將所述訓練樣本圖像輸入所述ResNet-101網絡，并通過所述ResNet-101網絡提取所述訓練樣本圖像的第一特征圖；

將所述第一特征圖輸入所述RPN網絡，并通過所述RPN網絡生成所述第一特征圖對應的預測框；

將所述第一特征圖和所述預測框輸入所述ROIAlign層，并通過所述ROI Align層對所述預測框和所述第一特征圖進行融合，得到包含所述預測框的第二特征圖；

將所述第二特征圖輸入所述分類網絡，并通過所述分類網絡生成所述第二特征圖對應的預測結果；

根據所述預測結果和所述標注文件，對預置MASK R-CNN模型的參數進行調整，直至所述MASK R-CNN模型收斂，得到包裹識別模型。

4.根據權利要求1所述的包裹缺陷識別方法，其特征在于，所述對所述包裹圖像進行缺陷識別，并基于所述包裹檢測數據對識別后的包裹圖像進行標注，得到標注圖像包括：

識別所述包裹圖像中的缺陷，得到所述包裹圖像的缺陷區域范圍；

基于所述包裹圖像的缺陷區域范圍，從所述包裹圖像中提取對應缺陷包裹圖像；

對所述缺陷包裹圖像進行特征提取，得到所述缺陷包裹圖像的圖像特征，其中，所述圖像特征包括幾何特征、紋理特征以及語義特征；

根據所述圖像特征，確定所述缺陷包裹圖像的圖像信息；

根據所述圖像信息和所述包裹檢測數據對所述缺陷包裹圖像進行標注，得到標注后的標注圖像。

5.根據權利要求1所述的包裹缺陷識別方法，其特征在于，所述獲取分揀流水線上的包裹視頻幀，并將所述包裹視頻幀輸入所述包裹缺陷識別模型進行識別，得到所述包裹視頻幀中每個包裹的包裹缺陷識別結果包括：

獲取分揀流水線上的包裹視頻幀，并將所述包裹視頻幀輸入所述包裹缺陷識別模型；

通過所述包裹缺陷識別模型，得到所述包裹視頻幀中各包裹的區域范圍；

根據所述包裹視頻幀中各包裹的區域范圍，分別從所述包裹視頻幀中提取各包裹對應的包裹圖像；

將所述包裹圖像輸入所述包裹缺陷識別模型，并通過所述包裹缺陷識別模型分別對所述包裹圖像進行缺陷識別，得到所述包裹視頻幀中每個包裹的包裹缺陷識別結果。