[發明專利]基于隔空手勢和超聲波觸覺反饋的多無人機操控系統及方法

有效

• 申請號: 201811410383.4
• 申請日: 2018-11-23
• 公開（公告）號: CN109634300B
• 公開（公告）日: 2022-08-12
• 發明（設計）人: 陽佳;代京;王琳娜;王立偉;袁本立;王振亞;程奇峰;李旗挺;宋盛菊;雍穎瓊;劉冬;杜立超;邵秋虎;海爾翰;潘健
• 申請（專利權）人: 中國運載火箭技術研究院
• 主分類號: G05D1/10
• 分類號: G05D1/10
• 代理公司: 中國航天科技專利中心 11009
• 代理人: 龐靜

基于隔空手勢和超聲波觸覺反饋的無人機操控系統及方法，系統包括體感控制器、超聲波相控陣、無人機主控計算機；無人機主控計算機通過體感控制器從不同角度實時捕獲手勢畫面并進行識別，判斷出手勢類型；無人機主控計算機根據接收的手勢類別發送對應的控制指令至無人機，并接收無人機的成功響應反饋信息，無人機主控計算機接收到成功響應反饋信息后，將根據識別的手勢信息確定的觸覺感知點作為焦點坐標下發給超聲波相控陣；超聲波相控陣根據焦點坐標計算每個換能器的相位延時，并觸發每個換能器發射調制的超聲波在焦點處聚焦，使人獲得觸覺感知以表明當前手勢任務已順利完成。

技術領域

本發明融合體感控制器對手勢命令的實時識別技術和超聲波相控陣精確聚焦技術，使操控員執行隔空手勢時即可通過對顯示屏圖形界面的操作和無線通訊，對無人機進行控制。屬于人機交互領域。

背景技術

在70年代中后期，出現了圖形用戶界面WIMP(Windows、Menu、Icons、PointingDevices)的二維人機交互技術，從此強調將人的智能而不是技術放在了人機交互的中心位置，并導致許多硬件的發明：如鼠標等。現在人機交互技術已從觸鍵操作發展到觸摸屏技術，并在智能手機、大型顯示屏、銀行取款機等方面獲得廣泛的應用。隨著多媒體計算機的發展和VR技術的出現，人機交互走向多通道交互的體系結構，如語音識別、姿勢跟蹤和視覺跟蹤等。目前流行的3D手勢交互操作系統的缺陷是無法實現真實的觸感，導致無法達到更加逼真的效果。因此，給浮空式的3D手勢與顯示屏交互操作加上“力度”反饋，從而進一步控制多任務操作，就顯得尤為重要。超聲波相控陣技術提供了這樣一種力度反饋功能。當超聲波聚焦在皮膚表面，在皮膚組織中產生剪切波。由剪切波引起的位移觸發皮膚內的機械感受器，使人獲得觸覺感知。

2009年中國軍用無人機WZ-6首次出現在建國60周年閱兵大典上，之后中國開始組建無人機作戰中隊。一些具有多年駕駛過殲6、殲7、殲10等多種機型的殲擊機王牌飛行員，成為了中國無人機作戰中隊首批軍用無人機操控員。當他們坐在操作室內，遙控千里之外的無人機時，才發現不能像駕駛戰機一樣通過身體來及時感受到飛機的飛行狀態，而只能通過顯示屏的細微變化來察覺周圍氣流、飛行姿態的變化。這就給操控員的工作提出了巨大的挑戰，他們既要根據前視攝像頭傳來的圖像及時修正無人機姿態，又要兼顧不斷轉動的偵察攝像頭保持對目標持續監控，還要單手操作鍵盤來給無人機的設備輸入指令。這種操作模式使具有多年飛行經驗的飛行員都感到異常吃力、疲憊不堪。目前我國“偵察打擊一體化”的武裝無人機已進入實戰演習。為此，針對飛行過程中需要完成的多任務操作，如飛行運動、發射有效載荷、多飛行器編隊控制等操作，提出用隔空手勢加觸覺反饋實現對飛行顯示屏的操作。這種方式可以提高在復雜環境下對多飛行器多任務作業控制的精準性和安全性，提高操控人員操控效率和舒適度。

發明內容

本發明的技術解決問題是：克服現有技術的不足，提供一種基于隔空手勢和超聲波觸覺反饋的多無人機操控系統及方法，增強無人機操控員在多任務作業下對目標控制的精準性和自身的舒適性。

本發明的技術解決方案是：基于隔空手勢和超聲波觸覺反饋的無人機操控系統，包括體感控制器、超聲波相控陣、無人機主控計算機；

無人機主控計算機通過體感控制器從不同角度實時捕獲手勢畫面并進行識別，判斷出手勢類型；

無人機主控計算機根據接收的手勢類別發送對應的控制指令至無人機，并接收無人機的成功響應反饋信息；

無人機主控計算機接收到成功響應反饋信息后，將根據識別的手勢信息確定的觸覺感知點作為焦點坐標下發給超聲波相控陣；

超聲波相控陣根據焦點坐標通過相位延遲的方式將發射調制的超聲波在焦點處聚焦，使人獲得觸覺感知以表明當前手勢任務已順利完成。

優選的，在無人機主控計算機上設置圖形用戶界面，圖形用戶界面上顯示與無人機主控計算機接收的手勢類別對應的指令按鈕。