[發明專利]基于手勢和眼動的無人機控制方法和系統

有效

• 申請號: 202010699868.0
• 申請日: 2020-07-20
• 公開（公告）號: CN111966217B
• 公開（公告）日: 2023-08-18
• 發明（設計）人: 閆野;劉璇恒;印二威;鄧寶松;王寧慈;宋明武;謝良;范曉麗
• 申請（專利權）人: 中國人民解放軍軍事科學院國防科技創新研究院;天津（濱海）人工智能軍民融合創新中心
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F3/04886;G06V40/20;G06V40/18;G06V10/764;G06V10/774;G06V10/82;G06N3/0442;G06N3/0464;G06N3/084
• 代理公司: 北京辰權知識產權代理有限公司 11619
• 代理人: 劉廣達

本發明公開了一種基于手勢和眼動的無人機控制方法，包括：數據手套將運動手勢信息發送到混合現實眼鏡；混合現實眼鏡根據接收到的運動手勢信息控制無人機飛行；無人機將視頻流數據發送到混合現實眼鏡；混合現實眼鏡對接收到的視頻流數據中的物體進行分類以及目標檢測；數據手套將目標鎖定手勢信息發送到混合現實眼鏡；混合現實眼鏡根據接收到的目標鎖定手勢信息，鎖定并標注目標。本發明的無人機控制方法，結合可穿戴的數據手套和混合現實眼鏡，可以精確的控制無人機檢測和鎖定目標，而且基于混合現實環境進一步加強了虛擬現實環境體驗感。

技術領域

本發明涉及人機交互技術領域，特別涉及一種基于手勢和眼動的無人機控制方法和系統。

背景技術

隨著計算機硬件和傳感器在尺寸和價格上不斷降低，越來越多的物體具有計算和傳感能力，人機交互技術改變著我們的生活和工作，其中最主要的交互方式就是手勢交互和眼動交互。

現有技術中，有的采用手勢交互，有的采用眼動交互，而手勢交互和眼動交互各有優缺點，眼動交互的缺點是精度較低，特別是在人員調整佩戴混合現實設備后，眼動交互只能定位到局部區域，而不能精確定位到交互點，手勢交互的缺點是用戶體驗不夠便捷和智能，例如有些方案采用的是基于圖像的手勢識別，分別對應多個鍵盤字符的方式進行輸入，這種方式不僅需要光線非常好的環境條件，而且按鍵識別時每根手指會覆蓋多個鍵盤字符，導致確定某個字符的時候準確率低，輸入效率也很低。

因此，僅基于手勢交互和眼動交互的單模態混合現實交互方式單一，準確率較低，而且用戶體驗感較差。

發明內容

本公開實施例提供了一種基于手勢和眼動的無人機控制方法和系統。為了對披露的實施例的一些方面有一個基本的理解，下面給出了簡單的概括。該概括部分不是泛泛評述，也不是要確定關鍵/重要組成元素或描繪這些實施例的保護范圍。其唯一目的是用簡單的形式呈現一些概念，以此作為后面的詳細說明的序言。

第一方面，本公開實施例提供了一種基于手勢和眼動的無人機控制方法，用于混合現實眼鏡，包括：

接收數據手套發送的運動手勢信息；

識別運動手勢信息，得到無人機控制指令；

將無人機控制指令發送到無人機；

接收無人機發送的視頻流數據；

對視頻流數據中的物體進行分類以及目標檢測。

進一步地，對視頻流數據中的物體進行分類以及目標檢測之后，還包括：

接收數據手套發送的目標鎖定手勢信息；

識別目標鎖定手勢信息，得到目標鎖定指令；

根據目標鎖定指令鎖定并標注目標。

建立無人機飛行過程點云圖；

在點云圖中標注目標。

進一步地，在點云圖中標注目標之后，還包括：

接收數據手套發送的切換點云界面的手勢信息；

識別切換點云界面的手勢信息，得到切換點云界面的指令；

根據切換點云界面的指令將顯示界面切換為點云圖。

進一步地，根據切換點云界面的指令將顯示界面切換為點云圖之后，還包括：

接收數據手套發送的調用虛擬鍵盤的手勢信息，

根據調用虛擬鍵盤的手勢信息，在目標處顯示文本框；

接收數據手套發送的鍵盤字符輸入手勢信息；

根據鍵盤字符輸入手勢信息，在文本框中輸入識別出的字符。