[發明專利]一種融合觸覺和視覺的機器人混合伺服控制裝置及方法

有效

• 申請號: 202010101209.2
• 申請日: 2020-02-19
• 公開（公告）號: CN111360851B
• 公開（公告）日: 2021-01-15
• 發明（設計）人: 邱劍彬;李圣;陳家睿;林偉陽;高會軍
• 申請（專利權）人: 哈爾濱工業大學
• 主分類號: B25J13/00
• 分類號: B25J13/00;B25J13/08;B25J9/16
• 代理公司: 北京高沃律師事務所 11569
• 代理人: 楊媛媛

本發明公開一種融合觸覺和視覺的機器人混合伺服控制裝置及方法，所述裝置包括：RGBD相機、圖像處理模塊和伺服控制器；RGBD相機分別采集目標物體周圍的環境信息和目標物體到深度攝像頭的距離；圖像處理模塊采用快速SIFT特征提取模板匹配方法，基于所述模板圖像將所述環境圖像中的各點和所述深度圖像中的各點一一對應，實現對目標物體進行定位，獲得實際的目標物體像素坐標和目標物體深度；伺服控制器根據實際的目標物體像素坐標和目標物體深度確定機器人各關節期望輸出角速度，并根據所述機器人各關節期望輸出角速度控制所述機器人運動。本發明融合觸覺和視覺實現對機器人的控制，提高了對機器人控制的準確性和安全性。

技術領域

本發明涉及機器人自動控制技術領域，特別是涉及一種融合觸覺和視覺的機器人混合伺服控制裝置及方法。

背景技術

目前機器人產業飛速發展，機器人在各種場景、環境下的應用日漸廣泛,對機器人的功能、安全性以及操作精確度提出了更高的要求，如制造業自動化生產、檢測故障，或與人交互的教育、娛樂場景中，機器人需要限制產生的力保證動作的安全性，同時保證運動的準確性。現有的機器人控制方法通常只考慮其中之一，并沒有一種同時兼顧二者的控制方法。

發明內容

基于此，本發明的目的是提供一種融合觸覺和視覺的機器人混合伺服控制裝置及方法，以提高對機器人控制的準確性和安全性。

為實現上述目的，本發明提供了一種融合觸覺和視覺的機器人混合伺服控制裝置，所述裝置包括：

RGBD相機，設置在機器人的末端，所述RGBD相機包括RGB攝像頭和深度攝像頭，所述RGB攝像頭用于采集目標物體周圍的環境信息，獲得環境圖像；所述深度攝像頭用于采集目標物體到深度攝像頭的距離，獲得深度圖像；

圖像處理模塊，與所述RGBD相機連接，用于采用快速SIFT特征提取模板匹配方法，基于所述模板圖像將所述環境圖像中的各點和所述深度圖像中的各點一一對應，實現對目標物體進行定位，獲得實際的目標物體像素坐標和目標物體深度；

伺服控制器，與所述圖像處理模塊連接，用于根據實際的目標物體像素坐標和目標物體深度確定機器人各關節期望輸出角速度，并根據所述機器人各關節期望輸出角速度控制所述機器人運動。

可選的，所述圖像處理模塊包括：

標記單元，用于將所述模板圖像中的目標物體用矩形框標記；

匹配單元，基于所述模板圖像中的矩形框與所述環境圖像進行尺度空間特征點匹配，將所述模板圖像上矩形框的中心點映射到所述環境圖像中，獲得的圖像像素坐標記為實際的目標物體像素坐標；所述圖像像素坐標處的深度記為實際的目標物體深度。

可選的，所述伺服控制器包括：

比較模塊，用于將期望位置的目標物體像素坐標與實際的目標物體像素坐標比較，得到像素坐標誤差，將期望位置的目標物體深度與實際的目標物體深度比較，得到像深度誤差；

各關節的期望輸出角速度確定模塊，用于將所述像素坐標誤差與所述深度誤差左乘圖像雅克比矩陣的逆，得到機械臂末端各關節的期望輸出角速度。

可選的，所述裝置還包括：

力檢測模塊，用于檢測機器人運動時機器人末端分別在x、y、z三個方向的力與力矩；

所述伺服控制器還包括：