[發(fā)明專利]一種基于力反饋裝置和VR感知的飛行機械臂系統(tǒng)及控制方法

有效

• 申請?zhí)枺?/td>: 201811236665.7
• 申請日: 2018-10-23
• 公開（公告）號: CN109164829B
• 公開（公告）日: 2021-08-27
• 發(fā)明（設(shè)計）人: 陳浩耀;朱芬芳;巫亞奇;孫家弼;宋瑾;劉云輝
• 申請（專利權(quán)）人: 哈爾濱工業(yè)大學(xué)（深圳）
• 主分類號: G05D1/10
• 分類號: G05D1/10;G05D1/08;B64D47/08;B64C27/08
• 代理公司: 廣州圣理華知識產(chǎn)權(quán)代理有限公司 44302
• 代理人: 頓海舟;董覺非

本發(fā)明公開了一種基于力反饋裝置和VR感知的飛行機械臂系統(tǒng)及控制方法，包括無人機部分和地面站部分，無人機部分包括了無人機機體、雙目相機、機載電腦、機械臂、控制系統(tǒng)和視覺標(biāo)簽。控制系統(tǒng)包括飛行主控和機械臂主控，機載電腦和控制系統(tǒng)安裝在無人機機體上；地面站部分包括VR頭顯、力反饋裝置和地面站主機，機載電腦將從地面站主機接收到的飛行控制指令以及機械臂控制指令發(fā)送至控制系統(tǒng)。本發(fā)明通過VR感知及顯示技術(shù)，以第一視角實時觀察到無人機前方的立體場景，更為精準(zhǔn)地觀察、定位目標(biāo)物體，降低了后續(xù)機械臂控制的難度。采用力反饋設(shè)備控制機械臂運動，運用飛行機械臂抓取技術(shù)，實時、精確的調(diào)整機械臂位置。

技術(shù)領(lǐng)域

本發(fā)明涉及無人機領(lǐng)域，具體涉及一種基于力反饋裝置和VR感知的飛行機械臂系統(tǒng)及控制方法。

背景技術(shù)

近年來，伴隨著機器人技術(shù)的迅速發(fā)展，無論在軍事應(yīng)用還是民用服務(wù)行業(yè)領(lǐng)域中，無人機都已經(jīng)發(fā)揮了重要的作用。現(xiàn)有的無人機應(yīng)用中，無人機運輸仍占據(jù)著主要的部分，但這無法滿足人們?nèi)找嬖鲩L的需求。在無人機上裝載機械臂，使機器人能夠?qū)Νh(huán)境中的目標(biāo)進行抓取和移動，兩者結(jié)合可以大大擴展傳統(tǒng)無人機的應(yīng)用范圍，比如可以代替人類完成復(fù)雜環(huán)境下的高空交互操作任務(wù)。

無人機機械臂的控制已成為一大研究熱點，但同時也存在著巨大的挑戰(zhàn)和難點。其中之一就是實現(xiàn)自動控制，即讓無人機自動識別物體并實現(xiàn)自動抓取，但該技術(shù)實現(xiàn)難度大，尚不成熟。相比之下，手動控制就顯得更加簡單和實用，即通過人眼或設(shè)立攝像頭準(zhǔn)確獲取無人機以及目標(biāo)物的狀態(tài)，然后操作機械臂完成抓取目標(biāo)的任務(wù)。現(xiàn)有的飛行機械臂在目標(biāo)識別方面,大多采用通過第三方視角直接觀察飛行機械臂和目標(biāo)的位置,觀察精度和效率低下。

公開號為CN106444810A的申請公開了借助虛擬現(xiàn)實的無人機機械臂空中作業(yè)系統(tǒng)及其控制方法，該發(fā)明中采用了將攝像頭搭載于三軸自穩(wěn)云臺，并通過測量頭部姿態(tài)信息解算三軸自穩(wěn)云臺控制指令，雖然可以擴展操作機械臂的可視范圍，降低了云臺的控制難度，但是同時這增加了載荷的體積和成本。且只是運用單目相機采集圖像，復(fù)制兩個相同的畫面，并未真正實現(xiàn)立體視覺。

發(fā)明內(nèi)容

為了解決上述技術(shù)問題，本發(fā)明的目的之一是提供一種基于VR的飛行機械臂系統(tǒng)、VR感知顯示技術(shù)和飛行機械臂抓取控制的基于力反饋裝置和VR感知的飛行機械臂系統(tǒng)。

為實現(xiàn)上述發(fā)明目的，本發(fā)明采取的技術(shù)方案如下：

一種基于力反饋裝置和VR感知的飛行機械臂系統(tǒng)，包括無人機部分和地面站部分，所述無人機部分包括了無人機機體、雙目相機、機載電腦、機械臂、控制系統(tǒng)和視覺標(biāo)簽，所述視覺標(biāo)簽用于與所要抓取的物體進行匹配識別，所述機載電腦和所述控制系統(tǒng)安裝在所述無人機機體上；所述地面站部分包括VR頭顯、力反饋裝置和地面站主機，所述機載電腦將從所述地面站主機接收到的飛行控制指令以及機械臂控制指令發(fā)送至所述控制系統(tǒng)；

所述雙目相機固定于所述無人機機體前端的上方位置，用于采集所述無人機機體周邊的運動環(huán)境圖像，并將圖像信息傳送回所述機載電腦的圖傳節(jié)點；

所述機械臂固定于所述無人機機體的下方且與所述控制系統(tǒng)中的機械臂主控相連，所述力反饋裝置將操作桿控制指令通過所述地面站主機發(fā)送給所述機載電腦，所述機載電腦將所述操作桿控制指令轉(zhuǎn)換為機械臂控制信息后傳送給所述機械臂主控；

所述VR頭顯為虛擬現(xiàn)實頭戴式顯示設(shè)備，所述VR頭顯戴在操作者頭部用于接收從所述雙目相機傳回的所述無人機機體前端的第一視角信息，并收集操作者頭部的姿態(tài)信息。

優(yōu)選的，所述機載電腦為UNC電腦。

優(yōu)選的，所述VR頭顯包含視頻顯示器和頭部姿態(tài)測量模塊，所述視頻顯示器實時顯示從雙目相機傳回的無人機前端的第一視角；所述頭部姿態(tài)測量模塊包括加速度計、陀螺儀和磁力計，用于實時測量頭部姿態(tài)信息，并傳回所述機載電腦的數(shù)傳節(jié)點。