[發明專利]基于手勢和眼動的無人機控制方法和系統

有效

• 申請號: 202010699868.0
• 申請日: 2020-07-20
• 公開（公告）號: CN111966217B
• 公開（公告）日: 2023-08-18
• 發明（設計）人: 閆野;劉璇恒;印二威;鄧寶松;王寧慈;宋明武;謝良;范曉麗
• 申請（專利權）人: 中國人民解放軍軍事科學院國防科技創新研究院;天津（濱海）人工智能軍民融合創新中心
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F3/04886;G06V40/20;G06V40/18;G06V10/764;G06V10/774;G06V10/82;G06N3/0442;G06N3/0464;G06N3/084
• 代理公司: 北京辰權知識產權代理有限公司 11619
• 代理人: 劉廣達

1.一種基于手勢和眼動的無人機控制方法，用于混合現實眼鏡，其特征在于，包括：

獲取用戶眼部圖像；對所述眼部圖像進行特征提取，得到眼部特征數據；將提取到的眼部特征數據輸入預先訓練的眼動識別模型，得到用戶的注視點；在顯示界面實時顯示用戶的注視點；

接收數據手套發送的運動手勢信息；

識別所述運動手勢信息，得到無人機控制指令；

將所述無人機控制指令發送到無人機；

接收無人機發送的視頻流數據；

對所述視頻流數據中的物體進行分類以及目標檢測。

2.根據權利要求1所述的方法，其特征在于，對所述視頻流數據中的物體進行分類以及目標檢測之后，還包括：

接收數據手套發送的目標鎖定手勢信息；

識別所述目標鎖定手勢信息，得到目標鎖定指令；

根據所述目標鎖定指令鎖定并標注目標；

建立無人機飛行過程點云圖；

在所述點云圖中標注所述目標。

3.根據權利要求2所述的方法，其特征在于，在所述點云圖中標注所述目標之后，還包括：

接收數據手套發送的切換點云界面的手勢信息；

識別所述切換點云界面的手勢信息，得到切換點云界面的指令；

根據所述切換點云界面的指令將顯示界面切換為點云圖。

4.根據權利要求3所述的方法，其特征在于，所述根據所述切換點云界面的指令將顯示界面切換為點云圖之后，還包括：

接收數據手套發送的調用虛擬鍵盤的手勢信息，

根據所述調用虛擬鍵盤的手勢信息，在所述目標處顯示文本框；

接收數據手套發送的鍵盤字符輸入手勢信息；

根據所述鍵盤字符輸入手勢信息，在所述文本框中輸入識別出的字符。

5.一種基于手勢和眼動的無人機控制系統，其特征在于，包括：

數據手套，用于將運動手勢信息發送到混合現實眼鏡，用于將目標鎖定手勢信息發送到混合現實眼鏡，用于將切換點云界面的手勢信息發送到混合現實眼鏡，用于將調用虛擬鍵盤的手勢信息發送到混合現實眼鏡，用于將鍵盤字符輸入手勢信息發送到混合現實眼鏡；

無人機，用于接收控制指令，用于將視頻流數據發送到混合現實眼鏡；

混合現實眼鏡，用于獲取用戶眼部圖像；對所述眼部圖像進行特征提取，得到眼部特征數據；將提取到的眼部特征數據輸入預先訓練的眼動識別模型，得到用戶的注視點；在顯示界面實時顯示用戶的注視點；根據接收到的運動手勢信息控制無人機飛行，用于對接收到的視頻流數據中的物體進行分類以及目標檢測，用于根據接收到的目標鎖定手勢信息，鎖定并標注目標，用于建立無人機飛行過程點云圖，并在所述點云圖中標注所述目標，用于根據所述切換點云界面的手勢信息，將顯示界面切換為點云圖，用于根據所述調用虛擬鍵盤的手勢信息，在所述目標處顯示文本框，用于根據所述鍵盤字符輸入手勢信息，在所述文本框中輸入識別出的字符。

6.根據權利要求5所述的系統，其特征在于，所述數據手套包括發送模塊、電源模塊、第一濾波降噪模塊以及手勢信息檢測模塊；所述混合現實眼鏡包括顯示模塊、點云模塊、目標檢測模塊、電源模塊、通信模塊、數據處理模塊、第二濾波降噪模塊以及視線追蹤模塊。