[發明專利]基于深度學習的小型零件分揀方法及其分揀系統

有效

• 申請號: 202010905536.3
• 申請日: 2020-09-01
• 公開（公告）號: CN112170233B
• 公開（公告）日: 2021-08-06
• 發明（設計）人: 張立國;孫勝春;金梅;張少闊;張子豪;張勇;劉博;郎夢園
• 申請（專利權）人: 燕山大學
• 主分類號: B07C5/00
• 分類號: B07C5/00;B07C5/36;G06N3/04;G06N3/08
• 代理公司: 北京孚睿灣知識產權代理事務所(普通合伙) 11474
• 代理人: 孫建

本發明公開了一種基于深度學習的小型零件分揀系統及其分揀方法，零件分揀系統包括傳送帶、光電開關、工業相機、計算機和機械臂，傳送帶負責運送零件，光電開關負責檢測零件是否到達圖像采集區域，工業相機負責采集零件的圖像，計算機對采集的圖像進行處理，得到圖中零件的類別和坐標位置；機械臂完成對確定類別和位置的零件的抓取分揀。分揀包括：S1、基于YOLOv4目標檢測網絡訓練零件識別模型，通過訓練好的零件識別模型檢測圖片中的零件，輸出圖中零件的類別名和坐標信息；S2、將零件圖像的像素坐標轉化為世界坐標；S3、將零件抓取至對應分揀箱內。該方法及裝置通過模型預測得到零件的坐標位置，零件識別準確率更高，識別速度更快。

技術領域

本發明涉及一種基于深度學習的小型零件分揀方法及其分揀系統，屬于智能制造中的工業自動化領域。

背景技術

隨著工業4.0和人工智能時代的到來，工業生產的任務逐漸交由由機器人來完成，在大幅度提高生產力的同時又減少了成本，同時將人從繁重枯燥且極具重復性的任務中解放出來。

早期生產線上零件的分揀大多由人來完成，這樣生產的人工成本高、效率低且人工分揀無法保證長時間工作后分揀的效率和準確率。傳統機器視覺的零件分揀主要基于人工設計的特征，利用特征點、最小外接矩形和模板匹配配等方法來識別零件。這種算法對于生產線上的姿態各異、形狀較復雜的零件往往無法達到令人滿意的效果。

針對傳統機器視覺算法識別分揀零件時對外部環境變化適應能力弱、抗擾動能力差且對于復雜不規則零件的識別效率低等問題，本發明選用基于深度學習的目標檢測方法來完成生產線上各種零件的識別，提高分揀的準確率。

發明內容

本發明的目的是提供一種基于深度學習的小型零件分揀方法及其分檢系統，提高生產線上形態各異的、不規則的復雜零件的分揀速度和分揀準確率，提高分揀效率，從而提高生產力。

一種基于深度學習的小型零件分揀系統的分揀方法，主要包括以下步驟：

S1、基于YOLO v4目標檢測網絡訓練零件識別模型，通過訓練好的零件識別模型檢測圖片中的零件，輸出圖中零件的類別名和坐標信息，具體步驟為：

S11、對樣本數據進行采集和擴充；S12、對樣本圖片進行標注：使用圖像標注軟件對樣本數據進行標注，框選出各圖中的零件并標記各零件的名稱，保存并輸出標注文件，之后劃分數據集，訓練集和測試集的比例為9:1；S13、零件檢測模型的訓練：針對生產線上的零件分揀問題，搭建基于深度學習YOLO v4目標檢測網絡的零件識別網絡，以CSPDarknet53網絡框架作為骨干網絡，空間金字塔池化SPP作為網絡頸部的附加模塊，路徑聚合網絡PAN作為網絡頸部的特征融合模塊，YOLOv3作為網絡頭部；將YOLO v3邊界框回歸損失中的均方誤差MSE替換為考慮預測框與真實框中心點的標準化距離和長寬比信息的重疊度損失CIOU，CIOU損失定義如下：

L_CIOU＝1-IOU(A,B)+ρ²(A_ctr,B_ctr)/c²+α.v (1)

其中，IOU(A,B)為預測框A與真實框B的重疊度損失IOU，ρ²(A_ctr,B_ctr)/c²為對中心點距離的懲罰項，A_ctr、B_ctr分別為預測框、真實框的中心點坐標，ρ(.)計算兩點間的歐式距離，c為A、B最小包圍框的對角線長度，α.v為長寬比的懲罰項，α為正數，v衡量長寬比的一致性，具體如下：

其中，w^gt、h^gt分別為真實框的寬和高，w、h分別為預測框的寬和高；