[發明專利]一種基于多模態輸入的旋翼無人機操控系統及其操控方法

在審

• 申請號: 202310163121.7
• 申請日: 2023-02-24
• 公開（公告）號: CN116360305A
• 公開（公告）日: 2023-06-30
• 發明（設計）人: 侯曉磊;吳欣寧;趙春暉;胡勁文
• 申請（專利權）人: 西北工業大學
• 主分類號: G05B19/042
• 分類號: G05B19/042
• 代理公司: 西安維賽恩專利代理事務所(普通合伙) 61257
• 代理人: 劉春

本發明公開了一種基于多模態輸入的旋翼無人機操控系統及其操控方法，該操控方法：步驟S1、獲取操作者的注視點信息，結合深度傳感器提取出在環境坐標系下的操作者注視點信息，再利用注視點信息統計模型、通過意向目標點估計方法來判定注視點表達的操作意圖，再將操作意圖與環境信息相結合以獲取規劃路徑點；步驟S2、將搖桿運動輸入信息與安全路徑相結合，綜合生成旋翼無人機的導航與控制信息；步驟S3、利用運動控制器控制旋翼無人機始終按照所規劃的路徑飛行；同時搖桿運動輸入信息被作為旋翼無人機的飛行速度參考輸入至運動控制器，實現對路徑的跟隨。本發明解決了傳統移動無人機遙操作系統無法在復雜環境中進行安全路徑的快速規劃的問題。

技術領域

本發明屬于無人機控制技術領域，具體涉及一種基于多模態輸入的旋翼無人機操控系統及其操控方法。

背景技術

隨著電子信息、自動控制和人工智能等技術的快速發展，自主無人機逐漸成為科技發展的熱門方向。然而，受目前自主無人機的理解能力和自主決策能力的限制，現有無人機仍無法在未知復雜的環境中全自主的開展任務。因此，將可利用人類分析、理解和決策能力、并與無人機底層自動控制結合的半自主遙操作系統受到了無人機領域的廣泛關注.與傳統的機械臂遙操作系統相比，移動無人機遙操作系統通常面臨更加復雜的非結構化環境，令操作者對環境的感知與控制提出了更高的要求。因而通過對操作員操作意圖分析和理解、進而利用從無人機的感知信息輔助操作員進行控制的人機混合遙操作系統將成為未來的發展方向。

在人機混合遙操作系統中，如何高效的獲取操作員的操作信息以及如何將操作信息與無人機控制系統的信息進行混合是研究的關鍵。傳統的遙操作主要利用搖桿等主控器提供的位置或力信號作為從無人機的輸入，同時采用從無人機或環境信息生成力/位反饋信息，實現操作員與遙操作系統的交互，此外，操作者手臂表面肌電信號和腦電信號也開始作為操作者的輸入被運用于遙操作系統中對遠端從無人機的控制。然而，無論是力位信息還是肌電信號，往往僅與從無人機的底層運動控制直接相關，無法與更具體、復雜的任務和環境信息產生關聯；而腦電信號輸入雖然與任務和環境具有較強的關聯性，但由于腦電信號同時還與其他因素高度耦合，因而導致提取與任務和環境相關的信息過于復雜，目前的研究尚無法提供高效、準確且提供復雜任務操作輸入的腦機接口。由于遙操作系統中操作者通常需要通過從無人機端傳回的圖像來觀察遠端環境以完成對操作環境的分析、理解及任務決策和操作，而操作者的眼動信息不僅直接與環境關聯還可能包含有任務操作意圖，因此通過對操作者的眼動信息進行研究，可快速獲取更多且直觀的操作信，從而有效輔助遙操作系統開展操作任務。

發明內容

本發明的目的是提供一種基于多模態輸入的旋翼無人機操控系統及其操控方法，以解決傳統移動無人機遙操作系統無法在復雜環境中進行安全路徑的快速規劃的問題。

本發明采用以下技術方案：一種基于多模態輸入的旋翼無人機操控系統的操控方法，包括以下內容：

步驟S1、通過眼動儀獲取操作者的注視點信息，并結合深度傳感器提取出在環境坐標系下的操作者注視點信息，再利用注視點信息統計模型、通過意向目標點估計方法來判定注視點表達的操作意圖，再將操作意圖與環境信息相結合以獲取規劃路徑點，并且規劃處從當前位置到路徑點的安全路徑；

步驟S2、將搖桿運動輸入信息與步驟S1中獲取的安全路徑相結合，綜合提取操作意圖，并生成旋翼無人機的導航與控制信息；

步驟S3、利用運動控制器控制旋翼無人機始終按照步驟S2的導航與控制信息所規劃的路徑飛行，且航向始終指向下一個路徑點的方向；同時搖桿運動輸入信息被作為旋翼無人機的飛行速度參考輸入至運動控制器，實現對路徑的跟隨。

進一步的，步驟S1中，意向目標點估計方法包括靜態環境下基于注視點特性的目標點估計方法，具體為：

首先將RGB-D傳感器獲取的遠程彩色圖像提供給操作者用以觀察飛行環境；