[發(fā)明專利]一種基于Kinect視覺信息的機器人環(huán)境識別與作業(yè)控制方法

有效

• 申請?zhí)枺?/td>: 201510829528.4
• 申請日: 2015-11-25
• 公開（公告）號: CN105319991B
• 公開（公告）日: 2018-08-28
• 發(fā)明（設(shè)計）人: 丁亮;陶建國;黎佳駿;高海波;鄧宗全
• 申請（專利權(quán)）人: 哈爾濱工業(yè)大學(xué)
• 主分類號: G05B17/02
• 分類號: G05B17/02
• 代理公司: 哈爾濱市松花江專利商標(biāo)事務(wù)所 23109
• 代理人: 楊立超

一種基于Kinect視覺信息的機器人環(huán)境識別與作業(yè)控制方法，涉及機器人作業(yè)領(lǐng)域，尤其涉及一種基于Kinect視覺信息的機器人環(huán)境識別與作業(yè)控制方法。本發(fā)明為了解決現(xiàn)有機器人的傳感系統(tǒng)存在穩(wěn)定性及精確度較低的問題而且作業(yè)控制存在不穩(wěn)定性難以實現(xiàn)預(yù)定任務(wù)或所需時間較長且操作過程復(fù)雜的問題。本發(fā)明按以下步驟進(jìn)行：一、通過Kinect傳感器a獲取彩色圖像和深度信息；二、顯示對齊后的彩色圖像和深度信息；三、獲取機器人所處環(huán)境信息；四、獲取關(guān)鍵點的三維坐標(biāo)信息；五、運用關(guān)鍵點坐標(biāo)信息計算所需的機器人運動軌跡；六、將特定運動指令下發(fā)給機器人。本發(fā)明適用于機器人作業(yè)領(lǐng)域。

技術(shù)領(lǐng)域

本發(fā)明涉及機器人作業(yè)領(lǐng)域，具體涉及一種基于Kinect視覺信息的機器人環(huán)境識別與作業(yè)控制方法。

背景技術(shù)

隨著機器人技術(shù)的發(fā)展，越來越多的機器人被應(yīng)用于工廠之外的動態(tài)非結(jié)構(gòu)化的任務(wù)環(huán)境中，如救災(zāi)、醫(yī)療、助殘等。復(fù)雜的環(huán)境對機器人的傳感系統(tǒng)提出了更高的要求。在硬件方面，常用的CCD相機及3D激光雷達(dá)等費用較高難以普及，并且傳統(tǒng)的環(huán)境識別技術(shù)存在穩(wěn)定性及精確度較低的問題。

在作業(yè)方面，傳統(tǒng)的機器人作業(yè)系統(tǒng)時常具有以下兩個問題之一：(1)過分依賴程序自動控制。這種方法在工業(yè)化大生產(chǎn)中十分有效，但是在復(fù)雜的非結(jié)構(gòu)化的環(huán)境中容易造成機器人的不穩(wěn)定性難以實現(xiàn)預(yù)定任務(wù)。(2)過分依賴人類控制。這種方法能保證機器人完成復(fù)雜的任務(wù)，但是所需時間較長且操作過程復(fù)雜，不便于理解記憶。以上兩個問題阻礙了機器人在更復(fù)雜環(huán)境條件下的應(yīng)用。

發(fā)明內(nèi)容

Kinect傳感器可獲得機器人周圍的彩色圖像和深度信息。操作員通過觀察彩色圖像了解機器人目前所處的環(huán)境特點，通過監(jiān)控深度信息了解前方的障礙物及距離情況；操作員通過遙操作的方式將機器人移動到特定的工位上，在此過程中通過觀察彩色圖像粗略確定方位，通過監(jiān)控深度信息可以準(zhǔn)確獲得機器人所處的位置情況；到達(dá)預(yù)定工作位置后，操作員運用鼠標(biāo)在彩色圖像上選取目標(biāo)位置，同時程序會記錄該位置的深度信息；通過連續(xù)的點選可以獲得機器人完成后續(xù)運動所必須的點位、線條和平面；程序會根據(jù)當(dāng)前要執(zhí)行的任務(wù)從獲得的點位信息中計算所需的參數(shù)，并完成規(guī)劃，下發(fā)給機器人執(zhí)行作業(yè)。

本發(fā)明為了解決現(xiàn)有機器人的傳感系統(tǒng)存在穩(wěn)定性及精確度較低的問題而且作業(yè)控制存在不穩(wěn)定性難以實現(xiàn)預(yù)定任務(wù)或所需時間較長且操作過程復(fù)雜的問題，而提出了一種基于 Kinect視覺信息的機器人環(huán)境識別與作業(yè)控制方法。

一種基于Kinect視覺信息的機器人環(huán)境識別與作業(yè)控制方法基于包括Kinect傳感器a、機器人本體b、上位機c和顯示屏d的硬件系統(tǒng)來實現(xiàn)的；Kinect傳感器a、機器人本體b 以及顯示屏d均與上位機c連接；

所述上位機c中安裝有包含人機交互界面1、圖像及信息顯示模塊2、關(guān)鍵點信息獲取及指令發(fā)送模塊3的軟件系統(tǒng)；人機交互界面1完成對圖像及信息顯示模塊2以及關(guān)鍵點信息獲取及指令發(fā)送模塊3的調(diào)用；圖像及信息顯示模塊2實現(xiàn)彩色圖像及深度信息的獲取和顯示，以及對鼠標(biāo)點指向像素的三維坐標(biāo)的獲取；關(guān)鍵點信息獲取及指令發(fā)送模塊3實現(xiàn)對確定的關(guān)鍵點的三維坐標(biāo)信息進(jìn)行采集，以及后續(xù)的運動指令發(fā)送；

其中圖像及信息顯示模塊2、關(guān)鍵點信息獲取及指令發(fā)送模塊3均與人機交互界面1相連；

一種基于Kinect視覺信息的機器人環(huán)境識別與作業(yè)控制方法按以下步驟進(jìn)行：

一、通過Kinect傳感器a，獲得機器人周圍環(huán)境的彩色圖像和深度信息；

二、通過上位機c將步驟一中獲得的彩色圖像和深度信息按像素一一對齊，并將對齊后的彩色圖像和深度信息通過圖像及信息顯示模塊2顯示在顯示屏d上；

三、通過觀察彩色圖像了解機器人目前所處的環(huán)境特點，通過監(jiān)控深度信息了解前方的障礙物及距離情況；