[發(fā)明專利]一種基于Kinect視覺信息的機器人環(huán)境識別與作業(yè)控制方法

有效

• 申請?zhí)枺?/td>: 201510829528.4
• 申請日: 2015-11-25
• 公開（公告）號: CN105319991B
• 公開（公告）日: 2018-08-28
• 發(fā)明（設(shè)計）人: 丁亮;陶建國;黎佳駿;高海波;鄧宗全
• 申請（專利權(quán)）人: 哈爾濱工業(yè)大學
• 主分類號: G05B17/02
• 分類號: G05B17/02
• 代理公司: 哈爾濱市松花江專利商標事務(wù)所 23109
• 代理人: 楊立超

1.一種基于Kinect視覺信息的機器人環(huán)境識別與作業(yè)控制方法，所述方法是基于包括Kinect傳感器(a)、機器人本體(b)、上位機(c)和顯示屏(d)的硬件系統(tǒng)來實現(xiàn)的；Kinect傳感器(a)、機器人本體(b)以及顯示屏(d)均與上位機(c)連接；

所述上位機(c)中安裝有包含人機交互界面(1)、圖像及信息顯示模塊(2)、關(guān)鍵點信息獲取及指令發(fā)送模塊(3)的軟件系統(tǒng)；人機交互界面(1)完成對圖像及信息顯示模塊(2)以及關(guān)鍵點信息獲取及指令發(fā)送模塊(3)的調(diào)用；圖像及信息顯示模塊(2)實現(xiàn)彩色圖像及深度信息的獲取和顯示，以及對鼠標點指向像素的三維坐標的獲??；關(guān)鍵點信息獲取及指令發(fā)送模塊(3)實現(xiàn)對確定的關(guān)鍵點的三維坐標信息進行采集，以及后續(xù)的運動指令發(fā)送；

其中圖像及信息顯示模塊(2)、關(guān)鍵點信息獲取及指令發(fā)送模塊(3)均與人機交互界面(1)相連；

其特征在于所述方法按以下步驟進行：

一、通過Kinect傳感器(a)，獲得機器人周圍環(huán)境的彩色圖像和深度信息；

二、通過上位機(c)將步驟一中獲得的彩色圖像和深度信息按像素一一對齊，并將對齊后的彩色圖像和深度信息通過圖像及信息顯示模塊(2)顯示在顯示屏(d)上；

三、通過觀察彩色圖像了解機器人目前所處的環(huán)境特點，通過監(jiān)控深度信息了解前方的障礙物及距離情況；包括以下步驟：

步驟A.確定當前機器人當前位置；

步驟B.控制機器人向門運動；

在所述步驟A中，操作員通過觀察彩色圖像確定機器人周圍的環(huán)境，通過監(jiān)控深度信息獲得機器人周圍的障礙物及距離情況；

在所述步驟B中，操作員通過遙操作將機器人運動到預定位置，在此過程中通過觀察彩色圖像可以獲得大致的位置與方向信息，通過監(jiān)控深度信息可以準確的了解到機器人與門的距離；

四、使用上位機(c)上的鼠標在彩色圖像上點擊，通過關(guān)鍵點信息獲取及指令發(fā)送模塊(3)獲得所需的關(guān)鍵點三維坐標信息；包括以下步驟：

步驟C.測量門的寬度和開門方向；輸入量為依次點選的兩個點的坐標值，輸出量為兩個點之間的距離也就是門的寬度和門旋轉(zhuǎn)的方向；

步驟D.測量門把手長度和旋轉(zhuǎn)方向；

在所述步驟C中，操作員運用鼠標在彩色圖像中依次點擊P₁和P₂，通過以下步驟求出門的長度以及打開方向：

兩點的坐標為P₁(x₁,y₁,z₁)、P₂(x₂,y₂,z₂)；

兩點間的距離為d_DW；旋轉(zhuǎn)方向為O_DR；

將的賦值給d_DW，

如果y₁-y₂＞0，則旋轉(zhuǎn)方向為O_DR為CCW；

否則旋轉(zhuǎn)方向為O_DR為CW；

在所述步驟D中，操作員運用鼠標在彩色圖像中依次點擊P₃和P₄，按照步驟C求出門把手的長度及旋轉(zhuǎn)方向；

五、通過上位機(c)運用關(guān)鍵點三維坐標信息計算所需的機器人運動軌跡；包括以下步驟：

步驟E.獲得機器人與門法線夾角；

步驟F.調(diào)整機器人方向為正對門；

步驟G.獲得門把手上操作點位置；

在所述步驟E中，操作員依次點擊P_A，P_B和P_C點，通過公式(1)求出機器人與門法線的偏差角：

其中：

為門法線方向，(x_A,y_A,z_A)，(x_B,y_B,z_B)，(x_C,y_C,z_C)分別為點P_A，P_B和P_C的坐標；

在所述步驟F中，操作員將所述步驟E中求出的偏差角下發(fā)給機器人，機器人完成偏差調(diào)整；

在所述步驟G中，操作員點擊P₅點，獲得機械臂與門把手的接觸位置；

六、通過關(guān)鍵點三維坐標信息獲取及指令發(fā)送模塊(3)，將特定運動指令下發(fā)給機器人，包括以下步驟：

步驟H.規(guī)劃機器人運動并下發(fā)指令；

在所述步驟H中，操作員將上述步驟中獲得的參數(shù)下發(fā)給機器人，控制機器人運動。