[發(fā)明專利]一種基于多模態(tài)輸入的旋翼無人機操控系統(tǒng)及其操控方法

在審

• 申請?zhí)枺?/td>: 202310163121.7
• 申請日: 2023-02-24
• 公開（公告）號: CN116360305A
• 公開（公告）日: 2023-06-30
• 發(fā)明（設計）人: 侯曉磊;吳欣寧;趙春暉;胡勁文
• 申請（專利權）人: 西北工業(yè)大學
• 主分類號: G05B19/042
• 分類號: G05B19/042
• 代理公司: 西安維賽恩專利代理事務所(普通合伙) 61257
• 代理人: 劉春

1.一種基于多模態(tài)輸入的旋翼無人機操控系統(tǒng)的操控方法，其特征在于，包括以下內(nèi)容：

步驟S1、通過眼動儀獲取操作者的注視點信息，并結(jié)合深度傳感器提取出在環(huán)境坐標系下的操作者注視點信息，再利用注視點信息統(tǒng)計模型、通過意向目標點估計方法來判定注視點表達的操作意圖，再將操作意圖與環(huán)境信息相結(jié)合以獲取規(guī)劃路徑點，并且規(guī)劃處從當前位置到路徑點的安全路徑；

步驟S2、將搖桿運動輸入信息與步驟S1中獲取的所述安全路徑相結(jié)合，綜合提取操作意圖，并生成旋翼無人機的導航與控制信息；

步驟S3、利用運動控制器控制旋翼無人機始終按照步驟S2的導航與控制信息所規(guī)劃的路徑飛行，且航向始終指向下一個路徑點的方向；同時搖桿運動輸入信息被作為旋翼無人機的飛行速度參考輸入至運動控制器，實現(xiàn)對路徑的跟隨。

2.如權利要求1所述的一種基于多模態(tài)輸入的旋翼無人機操控系統(tǒng)的操控方法，其特征在于，所述步驟S1中，所述意向目標點估計方法包括靜態(tài)環(huán)境下基于注視點特性的目標點估計方法，具體為：

首先將RGB-D傳感器獲取的遠程彩色圖像提供給操作者用以觀察飛行環(huán)境；

再利用眼動儀獲取操作者的眼動信息，即注視點在彩色圖像內(nèi)的坐標；利用所述坐標可以獲取RGB-D傳感器對應坐標下的深度信息，從而獲得注視點在RGB-D傳感器坐標系下的坐標；

再通過RGB-D傳感器與旋翼無人機間的坐標變換以及旋翼無人機在世界坐標下的坐標，可獲得注視點在世界坐標系下的坐標；

最后，根據(jù)目標特性，在注視點均值的基礎上加上預設的偏置值，從而生成目標點。

3.如權利要求1或2所述的一種基于多模態(tài)輸入的旋翼無人機操控系統(tǒng)的操控方法，其特征在于，所述步驟S1中，所述意向目標點估計方法包括動態(tài)環(huán)境下基于注視點特性的目標點估計方法，具體為：

首先將RGB-D傳感器獲取的彩色圖像提供給操作者用以觀察飛行環(huán)境；

再利用眼動儀獲取操作者的眼動信息，即注視點在彩色圖像內(nèi)的坐標；利用所述坐標可以獲取RGB-D傳感器對應坐標下的深度信息，從而獲得注視點在RGB-D傳感器坐標系下的坐標；

再通過RGB-D傳感器與旋翼無人機間的坐標變換以及旋翼無人機在世界坐標下的坐標，可獲得注視點在世界坐標系下的坐標；

最后，根據(jù)障礙物運動速度預測障礙物運動軌跡，并在保證不與預測的障礙物運動軌跡交叉的基礎上，在預測的障礙物運動軌跡端點處沿障礙物運動方向上加上預設的偏置值，從而生成目標點。

4.一種基于多模態(tài)輸入的旋翼無人機操控系統(tǒng)，其特征在于，使用如權利要求1-3中任意一項所述的一種基于多模態(tài)輸入的旋翼無人機操控系統(tǒng)的操控方法，其結(jié)構(gòu)包括：

一搖桿輸入模塊(1)，其輸出端數(shù)據(jù)連接至一運動控制器(4)；一意向目標點估計模塊(2)，其輸出端通過一路徑規(guī)劃器(3)數(shù)據(jù)連接至所述運動控制器(4)；所述運動控制器(4)的輸出端數(shù)據(jù)連接至一旋翼無人機(5)；所述旋翼無人機(5)還分別數(shù)據(jù)反饋連接至所述運動控制器(4)、所述路徑規(guī)劃器(3)和意向目標點估計模塊(2)；

其中，所述搖桿輸入模塊(1)，用于獲取操作者的搖桿運動輸入信息，并將所述搖桿運動輸入信息發(fā)送至所述運動控制器(4)作為參考速度；

所述意向目標點估計模塊(2)，用于獲取操作者的視覺信息，并利用意向目標點估計方法，將視覺信息生成旋翼無人機的意向運動目標點，并將所述意向運動目標點輸入至所述路徑規(guī)劃器(3)；

所述路徑規(guī)劃器(3)，用于根據(jù)所述意向運動目標點、以及旋翼無人機的當前位置規(guī)劃出旋翼無人機的安全飛行路徑，并將所述安全飛行路徑輸入至所述運動控制器(4)；

所述運動控制器(4)，用于同時接收所述意向目標點估計模塊(2)傳送來的所述意向運動目標點、所述路徑規(guī)劃器(3)傳送來的所述安全飛行路徑、和所述旋翼無人機(5)反饋的速度、位置以及航向信息；還用于生成飛行控制要求傳送至旋翼無人機(5)；

所述旋翼無人機(5)，用于按照所述運動控制器(4)的控制要求飛行，還用于反饋旋翼無人機的當前位置給所述路徑規(guī)劃器(3)，以及反饋旋翼無人機的位置和航線給所述意向目標點估計模塊(2)。

5.如權利要求4所述的一種基于多模態(tài)輸入的旋翼無人機操控系統(tǒng)，其特征在于，所述意向目標點估計模塊(2)獲取的視覺信息包括遠程彩色圖像、深度信息和操作者眼動信息，所述旋翼無人機(5)機載有RGB-D傳感器，所述操作者攜帶有眼動儀；

其中，所述RGB-D傳感器用于獲取環(huán)境的遠程彩色圖像和深度信息，所述眼動儀用于捕獲操作者眼動信息。