[發明專利]基于深度學習的工件識別定位和姿態估計系統和方法

有效

• 申請號: 201810591858.8
• 申請日: 2018-06-08
• 公開（公告）號: CN109101966B
• 公開（公告）日: 2022-03-08
• 發明（設計）人: 卜偉;張波;徐顯兵;彭成斌;肖江劍
• 申請（專利權）人: 中國科學院寧波材料技術與工程研究所
• 主分類號: G06V10/24
• 分類號: G06V10/24;G06V10/774;G06K9/62
• 代理公司: 南京利豐知識產權代理事務所(特殊普通合伙) 32256
• 代理人: 王鋒;趙世發

本發明提供了一種基于深度學習的工件識別定位和姿態估計系統和方法。所述基于深度學習的工件識別定位和姿態估計系統包括依次連接設置的網絡建設模塊、數據采集模塊、模型訓練模塊以及工件識別定位和姿態估計模塊。采用本發明提供的基于深度學習的工件識別定位和姿態估計系統，使得不同種類工件的分類識別、位置確定、以及單個工件的空間姿態估計可以同時進行檢測，大大提高了產線自動化效率。

技術領域

本發明涉及一種工件識別定位和姿態估計系統和方法，特別涉及一種基于深度學習的工件識別定位和姿態估計系統和方法，屬于目標識別檢測領域。

背景技術

隨著科技的進步，越來越多的工業機器人被應用于生產領域，以替換人類進行重復性的生產活動。工業機器人是面向工業領域的多關節機械手或多自由度的機器裝置，它能自動執行工作，是靠自身動力和控制能力來實現各種功能的一種機器。它可以接受人類指揮，也可以按照預先編排的程序運行，現代的工業機器人還可以根據人工智能技術制定的原則綱領行動。

為了提高工業機器人的自動化程度，需要工業機器人能對生產中的工件進行智能的識別定位和姿態估計，這樣工業機器人可以根據不同工件的不同姿態自適應的調整運動軌跡和抓取角度來對工件進行分揀。

近年來深度學習算法在計算機視覺的各個領域都取得了巨大突破，尤其在目標檢測、識別分類領域各種優秀的深度學習算法大量涌現。例如GoogleNet、VGG、Faster R-CNN、YOLO等。因此將強大的深度學習算法運用于工件檢測、識別定位領域能有效提高算法的可靠性，增加檢測定位精度和維度，從而提高工業機器人的自動化程度，大大增強實際生產效能。然而，現有技術中在工件檢測上還存在一定的缺陷，如對同一生產線上的不同種類工件的分類識別、位置確定、以及單個工件的空間姿態估計無法同時給出滿意的檢測結果。

發明內容

本發明的主要目的在于旨在提出一種基于深度學習的工件識別定位和姿態估計系統及方法，以克服現有技術的不足。

為實現前述發明目的，本發明實施例提供了一種基于深度學習的工件識別定位和姿態估計系統可以包括：

網絡建設模塊，其至少用于基于YOLO深度學習網絡進行工件識別定位和姿態估計網絡設計，所述工件識別定位和姿態估計網絡設計包括在全連接層后增加一個輸出項目，所述輸出項目用于獲取角度信息；

數據采集模塊，其至少用于構建訓練集，構建過程包括采集不同姿態的工件圖片作為訓練樣本，并對所述訓練樣本進行角度信息標注以及分類信息標注和位置信息標注；

模型訓練模塊，其至少用于根據數據采集模塊構建的訓練集對所述工件識別定位和姿態估計網絡進行訓練，當損失值達到預設閾值時，訓練結束并獲得工件識別定位和姿態估計模型；

工件識別定位和姿態估計模塊，其至少用于根據所述工件識別定位和姿態估計模型對工件實物圖片進行識別定位和姿態估計。

優選地，所述模型訓練模塊還包括損失值計算子模塊，用于對當前進行訓練的工件識別定位和姿態估計網絡的損失值進行計算，所述損失值計算采用同時融合工件分類誤差、工件位置坐標誤差和工件姿態誤差的損失函數。

本發明實施例還提供了一種基于深度學習的工件識別定位和姿態估計方法，其可以包括：

S1.基于YOLO深度學習網絡進行工件識別定位和姿態估計網絡設計，包括在全連接層后增加一個輸出項目，用于獲得角度信息；

S2.采集不同姿態的工件圖片作為訓練樣本以進行構建訓練集，包括對所述訓練樣本進行角度信息標注以及分類信息標注和位置信息標注；

S3.使用步驟S2構建的訓練集對所述工件識別定位和姿態估計網絡進行訓練；當損失值達到預設閾值時，訓練結束并獲得工件識別定位和姿態估計模型；

S4.調用所述工件識別定位和姿態估計模型對工件實物圖片進行識別定位和姿態估計。