[發明專利]基于深度視覺的工業機器人物件抓取示教系統及方法

在審

• 申請號: 202010316300.6
• 申請日: 2020-04-21
• 公開（公告）號: CN111923053A
• 公開（公告）日: 2020-11-13
• 發明（設計）人: 陽安志;李衛燊;李衛銃
• 申請（專利權）人: 廣州里工實業有限公司
• 主分類號: B25J9/22
• 分類號: B25J9/22;B25J9/16;B25J11/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開一種基于深度視覺的工業機器人物件抓取示教系統,包括示教工作臺、相機、機器人、夾爪、機器人控制器和深度計算平臺，夾爪和相機安裝在機器人的手臂末端，機器人控制器控制連接機器人，并控制機器人驅動夾爪和相機同步在示教工作臺上移動，相機和機器人控制器通信連接深度計算平臺，深度計算平臺通過相機獲取夾爪的位置圖像數據，再計算夾爪抓取目標的實際位置信息，最后命令機器人控制器實現控制機器人抓放物件，本發明還公開相關的示教方法。本系統具有較高的定位精度，滿足工業生產的要求，對于提高智能柔性化生產線具有重要意義。

技術領域

本發明涉及機器人及自動化設備領域，具體為一種基于深度視覺的工業機器人物件抓取示教系統以及示教方法。

背景技術

機器人技術是一門綜合學科，它涵蓋了信息技術、控制理論、機械設計、傳感技術、人工智能以及仿生學等眾多學科。機器人的出現對人們的日常生活產生了重大的影響，機器人種類繁多，根據應用場景的不同，機器人可以分為服務機器人、醫療機器人、特種機器人、水下機器人和工業機器人等。在現代科學技術的帶動下，機器人技術有了較大的進步，尤其是在工業界的應用非常廣泛，技術也相對成熟。工業機器人可以幫助人們快速地完成繁重且重復的任務，而且還能在極端的環境中作業，因此它被大量地應用在工業加工中，實現工業生產的自動化。如何解決工業目標識別、自動抓取是生產線上工業機器人生產自動化的一個首要問題。傳統的工業機器人在應對新的工作任務時需要先進行示教(設置機器人完成任務的步驟)，但生產線上多數的工業機器人是通過預先示教或者離線編程的方式控制機器人執行預定的指令動作，一旦工作環境或目標對象發生變化，機器人不能及時適應這些變化，從而導致抓取失敗，因此這種工作方式在很大程度上限制了工業機器人的靈活性和工作效率。

發明內容

為了克服現有技術提及的缺點，本發明提供一種基于深度視覺的工業機器人物件抓取示教系統及其示教方法，機器視覺技術具有快速和非接觸的特點，將機器視覺技術引入工業機器人領域，通過視覺引導機器人進行自動作業，對提高智能柔性化生產線水平，提高生產效率，拓寬機器人的應用范圍都有著十分重要的意義。

本發明解決其技術問題所采用技術方案為：基于深度視覺的工業機器人物件抓取示教系統，包括示教工作臺、相機、機器人、夾爪、機器人控制器和深度計算平臺，所述夾爪和相機安裝在所述機器人的手臂末端，所述機器人控制器控制連接所述機器人，并控制所述機器人驅動所述夾爪和相機同步在所述示教工作臺上移動，所述相機和所述機器人控制器通信連接所述深度計算平臺，所述深度計算平臺通過所述相機獲取所述夾爪的位置圖像數據，以計算所述夾爪抓取目標的實際位置信息，從而命令所述機器人控制器實現控制所述機器人準確抓放物件。

進一步的，所述示教工作臺上設有加工區、物件示教區、加工完成區和物件擺放區，加工區上設置有虎鉗或其他加工夾具。

進一步的，所述深度計算平臺包括相互數據連接的三個模塊：控制模塊、目標檢測模塊和相機模塊；所述相機模塊通過以太網通訊連接所述相機，所述控制模塊通過以太網通訊連接所述機器人控制器，所述目標檢測模塊通過所述相機模塊獲取的被檢測目標位置的圖像數據，計算出被檢測目標在圖像中的位置和方向角度信息(即圖像坐標和旋轉角度)，所述控制模塊發送特定的命令指令到所述所述機器人控制器。

進一步的，所述目標檢測模塊通過收集被檢測目標在多種環境下的圖像數據，并完成被檢測目標在圖像中的標注，基于這些圖像數據，訓練深度目標檢測算法，得到適合的參數模型；將參數模型保存在深度計算平臺，并實現目標檢測模塊的接口，返回被檢測目標在圖像中的位置和方向角度信息(圖像坐標和旋轉角度)。

進一步的，所述深度目標檢測算法的具體步驟包括：

S1.輸入圖片，對圖片進行預處理，如調整大小等；

S2.對預處理后的圖片，進行卷積層操作，包括卷積，池化，激活函數以提取特征，使用Resnet中C2、C3、C4三個部分的特征結果完成圖像特征的提取；