[發明專利]一種融合觸覺和視覺的機器人混合伺服控制裝置及方法

有效

• 申請號: 202010101209.2
• 申請日: 2020-02-19
• 公開（公告）號: CN111360851B
• 公開（公告）日: 2021-01-15
• 發明（設計）人: 邱劍彬;李圣;陳家睿;林偉陽;高會軍
• 申請（專利權）人: 哈爾濱工業大學
• 主分類號: B25J13/00
• 分類號: B25J13/00;B25J13/08;B25J9/16
• 代理公司: 北京高沃律師事務所 11569
• 代理人: 楊媛媛

1.一種融合觸覺和視覺的機器人混合伺服控制裝置，其特征在于，所述裝置包括：

RGBD相機，設置在機器人的末端，所述RGBD相機包括RGB攝像頭和深度攝像頭，所述RGB攝像頭用于采集目標物體周圍的環境信息，獲得環境圖像；所述深度攝像頭用于采集目標物體到深度攝像頭的距離，獲得深度圖像；

圖像處理模塊，與所述RGBD相機連接，用于采用快速SIFT特征提取模板匹配方法，基于模板圖像將所述環境圖像中的各點和所述深度圖像中的各點一一對應，實現對目標物體進行定位，獲得實際的目標物體像素坐標和目標物體深度；

伺服控制器，與所述圖像處理模塊連接，用于根據實際的目標物體像素坐標和目標物體深度確定機器人各關節期望輸出角速度，并根據所述機器人各關節期望輸出角速度控制所述機器人運動；

力檢測模塊，用于檢測機器人運動時機器人末端分別在x、y、z三個方向的力與力矩；

所述伺服控制器還包括：

多重判斷模塊，與所述力檢測模塊連接，用于判斷所述力或力矩是否大于設定閾值；如果所述力或力矩大于設定閾值，則輸出錯誤信息，控制所述機器人停止運動或進入碰撞處理程序；否則，判斷所述機器人是否到達目標物體期望位置處；如果沒有達到目標物體期望位置處，則重新確定目標物體的像素坐標和深度；如果所述機器人到達目標物體期望位置處，則判斷所述力或力矩是否大于任務閾值；如果所述力或力矩大于任務閾值，則控制所述機器人停止運動；否則，重新判斷所述力或力矩是否大于任務閾值。

2.根據權利要求1所述的融合觸覺和視覺的機器人混合伺服控制裝置，其特征在于，所述圖像處理模塊包括：

標記單元，用于將所述模板圖像中的目標物體用矩形框標記；

匹配單元，基于所述模板圖像中的矩形框與所述環境圖像進行尺度空間特征點匹配，將所述模板圖像上矩形框的中心點映射到所述環境圖像中，獲得的圖像像素坐標記為實際的目標物體像素坐標；所述圖像像素坐標處的深度記為實際的目標物體深度。

3.根據權利要求1所述的融合觸覺和視覺的機器人混合伺服控制裝置，其特征在于，所述伺服控制器包括：

比較模塊，用于將期望位置的目標物體像素坐標與實際的目標物體像素坐標比較，得到像素坐標誤差，將期望位置的目標物體深度與實際的目標物體深度比較，得到深度誤差；

各關節的期望輸出角速度確定模塊，用于將所述像素坐標誤差與所述深度誤差左乘圖像雅克比矩陣的逆，得到機械臂末端各關節的期望輸出角速度。

4.根據權利要求1所述的融合觸覺和視覺的機器人混合伺服控制裝置，其特征在于，所述裝置還包括：

角速度傳感器，用于檢測所述機器人各關節的實際輸出角速度；

關節控制器，分別與所述伺服控制器和所述角速度傳感器連接，用于將機械臂末端各關節的期望輸出角速度左乘機器人雅克比矩陣的逆得到各關節的目標角速度；將各關節的目標角速度與實際輸出角速度比較，獲得關節角速度誤差；根據所述關節角速度誤差控制所述機器人運動。

5.根據權利要求4所述的融合觸覺和視覺的機器人混合伺服控制裝置，其特征在于，所述裝置還包括：

放大器，與所述關節控制器連接，用于放大關節角速度誤差，以使根據所述放大的關節角速度誤差控制所述機器人運動；

力檢測模塊包括力傳感器和力矩傳感器。