[發明專利]一種利用手勢控制無人機的方法，設備及可讀存儲介質

有效

• 申請號: 202010060853.X
• 申請日: 2020-01-19
• 公開（公告）號: CN111290574B
• 公開（公告）日: 2022-09-09
• 發明（設計）人: 陳淑敏;楊坤龍
• 申請（專利權）人: 超越科技股份有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06V40/20;G05D1/10
• 代理公司: 濟南舜源專利事務所有限公司 37205
• 代理人: 張亮

1.一種利用手勢控制無人機的方法，其特征在于，方法包括：

S1，將體感控制器連接至控制終端；利用USB串口轉NRF24L01模塊，將體感控制器與控制終端連接；

S2，在無人機端，將無線通信模塊與單片機相連，接收控制數據；

S3，將單片機的輸出與無人機的飛控、機械手的控制端相連；

S4，體感控制器接收無人機手勢控制信息，將無人機手勢控制信息傳輸至單片機；

使用了雙目傳感器進行手勢數據的采集并在控制終端進行處理；

使用C++并結合leapmotionv2SDK庫將雙目識別到的數據進行處理，使用Qt編寫獲取到的無人機手勢控制信息進行顯示，使用戶觀察自己的手勢狀態；

同時將處理后的無人機手勢控制信息進行自定義編碼；

啟動發送控制指令，并向單片機發送無人機手勢控制信息；

讀取人體手勢動作圖像，提取人體手勢動作圖像中手部的無人機控制特征基準點，并獲取無人機控制特征基準點的位移量，位移角度以及位移方向；

將無人機控制特征基準點的位移量，位移角度以及位移方向配置為無人機控制梯度方向，將無人機控制梯度方向配置為N個方向，對每個人體手勢動作圖像中特征點在預設范圍內的梯度方向，基于同一個梯度方向進行獲取，利用無人機控制梯度方向相似度對照表，對每個人體手勢動作圖像中特征點的無人機控制梯度方向配置為該方向的相似度方向；

將人體手勢動作圖像中每一幀圖像的無人機控制梯度方向與預設范圍內的梯度方向進行匹配，且在梯度方向移動閾值內，得到每一幀圖像中多個方向區域；

再以該方向區域作為匹配標準，在圖像中進行移動，將每個對應位置無人機控制特征基準點的方向與預設置無人機控制方位模板的方向進行匹配；

匹配成功后得到無人機控制相似度值；

將無人機控制相似度值，位移量，位移角度以及位移方向配置到的控制執行區域；

將控制執行區域內的無人機手勢控制信息按照時間的順序進行排列，得到控制序列，按照預設的次序進行發送，并由單片機接收并執行；

S5，單片機接收無人機手勢控制信息，并執行。

2.根據權利要求1所述的利用手勢控制無人機的方法，其特征在于，

步驟S4還包括：

控制終端將無人機手勢控制信息通過UART協議發送到串口中，通過NRF24L01模塊進行無線發射；

單片機實時進行NRF24L01數據的接收；

單片機將接收的無人機手勢控制信息進行處理，并執行。

3.根據權利要求1所述的利用手勢控制無人機的方法，其特征在于，

步驟S5還包括：

單片機采用arduino解碼收到的無人機手勢控制信息；

單片機進行數據的處理，并輸出pwm信息，基于pixhawk以及機械臂，實現控制無人機的飛行以及機械臂的抓取。

4.根據權利要求1所述的利用手勢控制無人機的方法，其特征在于，

步驟S4還包括：體感控制器利用攝像頭采集人體手勢動作圖像，對人體手勢動作圖像進行解析，并判斷出當前的人體手勢動作方向；

將人體手勢動作方向配置成無人機手勢控制信息。

5.根據權利要求1所述的利用手勢控制無人機的方法，其特征在于，

步驟S5還包括：

單片機接收無人機手勢控制信息，并生成用于控制無人機進行過程飛行的高度數據、姿態角數據、航向數據信息以及與控制者的距離數據信息。

6.一種實現利用手勢控制無人機的方法的設備，其特征在于，包括：

存儲器，用于存儲計算機程序及利用手勢控制無人機的方法；

處理器，用于執行所述計算機程序及利用手勢控制無人機的方法，以實現如權利要求1至5任意一項所述利用手勢控制無人機的方法的步驟。

7.一種具有利用手勢控制無人機的方法的可讀存儲介質，其特征在于，所述可讀存儲介質上存儲有計算機程序，所述計算機程序被處理器執行以實現如權利要求1至5任意一項所述利用手勢控制無人機的方法的步驟。