[發明專利]一種基于深度學習的目標識別與抓取定位方法

有效

• 申請號: 201810248258.1
• 申請日: 2018-03-24
• 公開（公告）號: CN108648233B
• 公開（公告）日: 2022-04-12
• 發明（設計）人: 賈松敏;鞠增躍;張國梁;李秀智;張祥銀
• 申請（專利權）人: 北京工業大學
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T7/11;G06T7/194;G06V10/762;G06V10/764;G06K9/62
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 沈波

本發明公開了一種基于深度學習的目標識別與抓取定位方法，屬于機器視覺領域。首先，利用Kinect相機采集場景的深度和彩色圖像，然后使用Faster R?CNN深度學習算法識別場景目標，根據識別的類別選擇抓取的目標區域，并作為GrabCut圖像分割算法的輸入，通過圖像分割獲取目標的輪廓，進而獲取目標的具體位置，并作為級聯神經網絡的輸入進行最優抓取位置檢測，最終獲取機械臂的抓取位置和抓取姿態。通過該方法提高目標識別與定位的實時性、準確性以及智能性。

技術領域

本發明屬于機器視覺領域。提出了一種基于深度學習的目標識別與抓取定位方法，用于提高目標識別與定位的實時性、準確性以及智能性。

背景技術

隨著工業自動化技術的發展，機器人的數量在不斷的增加，工業機器人已經廣泛的應用到汽車制造，機械加工、電子電氣以及智能家庭服務等生活的方方面面。機器人技術的發展在一定程度上反應了一個國家自動化的發展水平，隨著社會經濟的發展，生產規模的擴大以及生產環境的復雜化，開發和生產更加智能化、信息化、高精度的自動化系統顯得尤為的重要。在機器視覺領域，目標識別與定位是關鍵技術，其不僅可以指引機器人完成某項任務，如工業零件加工、分揀以及搬運等任務。其在視覺場景理解、地圖創建以及AR等復雜的視覺領域也有重要的意義，研究機器視覺技術是推動機器人發展的一項巨大的舉措。傳統的機械臂的抓取采用的是示教系統，但當待抓取目標的位置、形狀以及環境發生變化時，示教系統下的機械臂不能隨外界的變化而做出相應的調整，因而會造成抓取任務的失敗。計算機視覺解決機械臂抓取任務的通常做法是，首先利用相機對場景采樣，利用圖像處理算法獲取目標位置以及空間的姿態信息，最終使機械臂完成抓取任務。傳統的機械臂識別階段的圖像處理采用特征提取的方法來處理圖像信息，特征提取的過程中容易受到光照、目標形狀和目標大小等外界因素的影響，因此泛化能力和魯棒性較差。深度學習概念是Hinton在2006年首次提出，Krizhevsky在2012年的ImageNet比賽利用深度學習的方法取得了優異的成績，深度學習引起了全世界研究人員的關注。相比于傳統的視覺算法，深度學習不需要使用者預先選定提取的何種特征，而是通過學習的方式在大量的數據中找到目標所具有的特征。

針對傳統視覺算法泛化能力低、魯棒性不強的特點，本專利采用Faster R-CNN深度學習的方法識別目標，提高了識別系統的泛化能力和魯棒性。但深度學習識別階段只能獲得目標的位置和類別，并不能獲得目標的抓取位置，為了解決這個問題，本專利采用LenzI等人提出的基于深度學習方法進行抓取位置學習，最終獲得機械臂的抓取位置和抓取姿態。

發明內容

本發明的目的是提供一種準確且高效的目標識別和抓取定位方法。

本發明采用如下的技術方案：

為了解決上述傳統視覺算法存在的問題，提出了一種基于深度學習的目標識別與抓取定位方法。首先，利用Kinect相機采集場景的深度和彩色圖像，然后使用Faster R-CNN深度學習算法識別場景目標，根據識別的類別選擇抓取的目標區域，并作為GrabCut圖像分割算法的輸入，通過圖像分割獲取目標的輪廓，進而獲取目標的具體位置，并作為級聯神經網絡的輸入進行最優抓取位置檢測，最終獲取機械臂的抓取位置和抓取姿態。

本發明的技術特征如下：

(1)基于深度學習的目標識別；