[發(fā)明專(zhuān)利]一種基于增強(qiáng)現(xiàn)實(shí)的遠(yuǎn)程監(jiān)測(cè)及控制系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201810236758.3
• 申請(qǐng)日: 2018-03-21
• 公開(kāi)（公告）號(hào): CN108422435B
• 公開(kāi)（公告）日: 2020-05-12
• 發(fā)明（設(shè)計(jì)）人: 陳成軍;于浩;信寄遙;王天諾
• 申請(qǐng)（專(zhuān)利權(quán)）人: 煙臺(tái)朗文汽車(chē)零部件有限公司
• 主分類(lèi)號(hào): B25J13/00
• 分類(lèi)號(hào): B25J13/00;B25J19/04;G06F30/20;G06T17/00
• 代理公司: 青島發(fā)思特專(zhuān)利商標(biāo)代理有限公司 37212
• 代理人: 董寶錁

本發(fā)明涉及一種基于增強(qiáng)現(xiàn)實(shí)的遠(yuǎn)程監(jiān)測(cè)及控制系統(tǒng)，包括交互仿真控制模式和監(jiān)測(cè)模式，交互仿真模式下，在服務(wù)器接收移動(dòng)機(jī)器人上的RGBD相機(jī)拍攝的深度圖像，并將不同角度拍攝的深度圖像合成場(chǎng)景三維點(diǎn)云模型；然后結(jié)合場(chǎng)景三維點(diǎn)云模型，操作機(jī)械手仿真模型，規(guī)劃路徑，利用所述路徑驅(qū)動(dòng)所述機(jī)械手仿真模型運(yùn)動(dòng)，最后將動(dòng)態(tài)的機(jī)械手仿真模型疊加在RGBD相機(jī)拍攝的彩色圖像中，實(shí)現(xiàn)虛實(shí)結(jié)合的模擬顯示和路徑規(guī)劃；所述監(jiān)測(cè)模式下，通過(guò)遠(yuǎn)程數(shù)據(jù)采集系統(tǒng)采集監(jiān)測(cè)數(shù)據(jù)，通過(guò)移動(dòng)機(jī)器人巡檢，獲取監(jiān)測(cè)對(duì)象的監(jiān)測(cè)圖像，通過(guò)服務(wù)器得到監(jiān)測(cè)數(shù)據(jù)，將監(jiān)測(cè)數(shù)據(jù)與監(jiān)測(cè)數(shù)據(jù)的疊加顯示，顯示界面更加直觀。

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于增強(qiáng)現(xiàn)實(shí)的遠(yuǎn)程監(jiān)測(cè)及控制系統(tǒng)，屬于智能制造和計(jì)算機(jī)測(cè)量與控制領(lǐng)域。

背景技術(shù)

當(dāng)前遠(yuǎn)程監(jiān)測(cè)與控制已經(jīng)廣泛應(yīng)用生產(chǎn)，然而在監(jiān)測(cè)方面，當(dāng)前的監(jiān)測(cè)系統(tǒng)把監(jiān)測(cè)視頻和監(jiān)測(cè)數(shù)據(jù)分別顯示，監(jiān)視人員需要自己將視頻內(nèi)容和監(jiān)測(cè)數(shù)據(jù)聯(lián)系在一起，界面現(xiàn)實(shí)不夠直觀。另外，在控制方面，控制人員只能夠通過(guò)顏色圖像估計(jì)遠(yuǎn)程環(huán)境的三維信息，規(guī)劃?rùn)C(jī)械手的路徑，以此方式控制遠(yuǎn)程機(jī)械手完成操作，這樣會(huì)造成機(jī)器人控制不夠準(zhǔn)確。

公開(kāi)號(hào)為CN106863303A的發(fā)明專(zhuān)利《CN106863303A》，其具體技術(shù)方案為：通過(guò)安裝在機(jī)械手各關(guān)節(jié)處的編碼器采集各關(guān)節(jié)的角位移，并將采集數(shù)據(jù)送計(jì)算機(jī)處理，計(jì)算機(jī)依據(jù)各關(guān)節(jié)角位移數(shù)據(jù)規(guī)劃出機(jī)械手路徑，并控制機(jī)械手沿此路徑完成焊縫的焊接。該技術(shù)方案為設(shè)備現(xiàn)場(chǎng)路徑規(guī)劃方式，無(wú)法滿足當(dāng)前企業(yè)遠(yuǎn)程路徑規(guī)劃的需求。

發(fā)明內(nèi)容

為了解決上述技術(shù)問(wèn)題，本發(fā)明提供一種基于增強(qiáng)現(xiàn)實(shí)的遠(yuǎn)程監(jiān)測(cè)及控制系統(tǒng)，實(shí)現(xiàn)遠(yuǎn)程巡檢應(yīng)用的視頻監(jiān)測(cè)和數(shù)據(jù)監(jiān)測(cè)的融合顯示以及在服務(wù)器端生成機(jī)器人遠(yuǎn)端操作的本地路徑規(guī)劃和模擬。

本發(fā)明的技術(shù)方案如下：

一種基于增強(qiáng)現(xiàn)實(shí)的遠(yuǎn)程監(jiān)測(cè)及控制系統(tǒng)，包括交互仿真控制模式，該模式通過(guò)服務(wù)器和位于遠(yuǎn)端設(shè)備及環(huán)境中的移動(dòng)機(jī)器人，以虛實(shí)結(jié)合的方式完成機(jī)械手遠(yuǎn)端操作的本地路徑規(guī)劃和模擬，具體地：

所述移動(dòng)機(jī)器人包括機(jī)器人本體，以及設(shè)于機(jī)器人本體上的機(jī)械手和RGBD相機(jī)；

所述服務(wù)器包括一遠(yuǎn)端環(huán)境重建模塊、機(jī)械手操作仿真模塊以及增強(qiáng)現(xiàn)實(shí)顯示模塊；所述遠(yuǎn)端環(huán)境重建模塊接收所述RGBD相機(jī)拍攝的深度圖像，并將不同角度拍攝的深度圖像合成場(chǎng)景三維點(diǎn)云模型；所述機(jī)械手操作仿真模塊建立機(jī)械手仿真模型，然后結(jié)合場(chǎng)景三維點(diǎn)云模型，操作機(jī)械手仿真模型，規(guī)劃路徑，最后利用所述路徑驅(qū)動(dòng)所述機(jī)械手仿真模型運(yùn)動(dòng)；所述增強(qiáng)現(xiàn)實(shí)顯示模塊將動(dòng)態(tài)的機(jī)械手仿真模型疊加在RGBD相機(jī)拍攝的彩色圖像中，實(shí)現(xiàn)虛實(shí)結(jié)合的模擬顯示。

更優(yōu)地，所述交互仿真控制模式下還完成碰撞檢測(cè)，具體地：所述機(jī)械手操作仿真模塊在場(chǎng)景三維點(diǎn)云模型中利用所述路徑驅(qū)動(dòng)機(jī)械手仿真模型運(yùn)動(dòng)，檢查機(jī)械手仿真模型是否與場(chǎng)景三維點(diǎn)云模型發(fā)生干涉，實(shí)現(xiàn)虛實(shí)碰撞檢測(cè)；若存在干涉，則優(yōu)化路徑，然后將優(yōu)化后的路徑發(fā)送給移動(dòng)機(jī)器人，若不存在干涉，則將所述路徑發(fā)送給移動(dòng)機(jī)器人，移動(dòng)機(jī)器人根據(jù)路徑控制機(jī)械手的運(yùn)動(dòng)，完成操作任務(wù)。

更優(yōu)地，所述移動(dòng)機(jī)器人上還包括圖像采集控制器、機(jī)器人本體控制器以及機(jī)械手控制器；所述圖像采集器控制相機(jī)云臺(tái)運(yùn)動(dòng)，并采集所述RGBD相機(jī)上的彩色圖像和深度圖像，所述RGBD相機(jī)固定于相機(jī)云臺(tái)上；所述機(jī)器人本體控制器控制機(jī)器人本體運(yùn)動(dòng)，并反饋機(jī)器人本體的方位和姿態(tài)；所述機(jī)械手控制器控制機(jī)械手的運(yùn)動(dòng)；

所述服務(wù)器上還設(shè)有云臺(tái)遙操作模塊、機(jī)器人本體遙操作模塊以及機(jī)械手遙操作模塊；所述云臺(tái)遙操作模塊向圖像采集控制器發(fā)送指令，控制相機(jī)云臺(tái)按照指令運(yùn)動(dòng)，從而改變RGBD相機(jī)的拍攝角度；所述機(jī)器人本體遙操作模塊向機(jī)器人本體控制器發(fā)送指令，控制機(jī)器人本體按照指令運(yùn)動(dòng)；所述機(jī)械手遙操作模塊向機(jī)械手控制器發(fā)送指令，控制機(jī)械手按照指令運(yùn)動(dòng)；