[發明專利]一種袋裝產品的AI識別定位方法、系統及裝置

在審

• 申請號: 202110266376.7
• 申請日: 2021-03-11
• 公開（公告）號: CN113111712A
• 公開（公告）日: 2021-07-13
• 發明（設計）人: 李建全;王錚;李金松;楊一粟;王志偉;王小龍
• 申請（專利權）人: 穩健醫療用品股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N20/00
• 代理公司: 深圳鼎合誠知識產權代理有限公司 44281
• 代理人: 郭燕;彭家恩

1.一種袋裝產品的AI識別定位方法，其特征在于，包括：

采集流水線上袋裝產品的原始圖像；

將所述原始圖像傳入深度學習模型進行處理，得到袋裝產品的第一組數據，其中，所述第一組數據包括中心點坐標、正反類別以及角度數據；

使用模板匹配算法對所述原始圖像進行處理，得到對應所述第一組數據的第二組數據，其中，所述第二組數據包括中心點坐標、正反類別以及角度數據；

將所述第一組數據和第二組數據進行核對校準，獲取最優組數據，以所述最優組數據作為袋裝產品識別定位結果；

將所述袋裝產品識別定位結果傳遞給機械手，以使機械手抓取袋裝產品，同時，通過上位機軟件界面實時進行效果展示。

2.如權利要求1所述的AI識別定位方法，其特征在于，將所述原始圖像傳入深度學習模型進行處理，得到袋裝產品的第一組數據包括：

將所述原始圖像傳入預先訓練好的深度學習模型YOLO中進行識別；

將識別到的每一個非堆疊狀態的袋裝產品的坐標與類別信息經數據提取轉換成中心點坐標、正反類別以及角度，以實現初步定位。

3.如權利要求2所述的AI識別定位方法，其特征在于，所述深度學習模型YOLO的訓練過程包括：

使用工業相機采集流水線上隨機擺放的袋裝產品圖像，并使用標注工具進行袋裝產品整體目標、局部目標的標注，從而構建起數據集，其中，所述整體目標包括袋裝產品整體區域的范圍，分為正面和反面；所述局部目標包括袋裝產品上的局部特征區域，正面和反面上均至少1個；

從所述數據集中按照預設比例劃分出訓練集、驗證集和測試集；

使用訓練集對深度學習模型YOLO進行訓練，使用驗證集在訓練過程中進行模型的性能評判，然后使用測試集進行測試，當測試結果能夠準確識別定位出整體目標和局部目標時既通過測試，最終得到滿足要求的YOLO預訓練模型。

4.如權利要求3所述的AI識別定位方法，其特征在于，所述深度學習模型YOLO所識別到的每一個袋裝產品的坐標與類別信息經數據提取轉換成第一組數據的過程包括：

通過YOLO所識別到的袋裝產品整體目標框坐標，計算得出整體目標框的中心點坐標作為袋裝產品的中心點坐標；

通過YOLO所識別到的袋裝產品整體目標的正面還是反面結果，作為袋裝產品的正反類別；

通過YOLO所識別到的袋裝產品整體目標和局部目標的中心點連線，再加上一定的補償角得到袋裝產品的角度。

5.如權利要求4所述的AI識別定位方法，其特征在于，基于深度學習模型YOLO提取得到的一組數據，采用傳統的模板匹配算法，進行袋裝產品目標的匹配，具體為：在所述原始圖像的深度學習模型YOLO所識別到的整體目標范圍內進行模板匹配，根據深度學習模型YOLO所識別到的整體目標正反類別選擇不同的模板，匹配結果滿足一定閾值即匹配成功，從而對應得到一組由模板匹配所生成的第二組數據。

6.如權利要求5所述的AI識別定位方法，其特征在于，將所述第一組數據和第二組數據進行核對校準，獲取最優組數據，包括：

在深度學習模型YOLO得到的第一組數據與傳統模板匹配得到的第二組數據中，若二者中心點坐標距離小于一定的閾值，正反類別一致，角度朝向相同且誤差小于一定的閾值，則確定為識別結果正確，將模板匹配的中心點坐標、正反類別、角度作為最終的袋裝產品識別定位結果；

若二者中心點坐標距離小于一定的閾值，正反類別一致，角度朝相相反且誤差小于一定的閾值，則確定為模板匹配方向錯誤，深度學習模型YOLO識別結果正確，將深度學習模型YOLO識別的中心點坐標、正反類別，以及傳統模板匹配的角度旋轉180°的新角度作為最終的袋裝產品識別定位結果。