[發(fā)明專利]基于AR眼鏡的無人機操控系統(tǒng)及方法

在審

• 申請?zhí)枺?/td>: 202211276557.9
• 申請日: 2022-10-19
• 公開（公告）號: CN115357053A
• 公開（公告）日: 2022-11-18
• 發(fā)明（設計）人: 申童;吳斐;陸希煒
• 申請（專利權(quán)）人: 北京亮亮視野科技有限公司
• 主分類號: G05D1/10
• 分類號: G05D1/10
• 代理公司: 北京路浩知識產(chǎn)權(quán)代理有限公司 11002
• 代理人: 梁軍麗

本發(fā)明提供一種基于AR眼鏡的無人機操控系統(tǒng)及方法，其中，該系統(tǒng)包括：頭動操控模塊，用于根據(jù)用戶頭部的旋轉(zhuǎn)角度控制無人機攝像頭的轉(zhuǎn)動角度；語音操控模塊，用于接收用戶輸入的語音，并根據(jù)預設的關(guān)鍵詞喚醒和操控無人機；手勢操控模塊，用于捕捉到用戶的手勢和手指的坐標以觸發(fā)相應的功能。通過頭動、語音控制和手勢操作的多種交互方式實現(xiàn)了AR眼鏡操控無人機的飛行和拍攝，便于無人機全方位無死角巡檢和更加便捷舒適地通過人機交互方式操作無人機。

技術(shù)領(lǐng)域

本發(fā)明涉及AR技術(shù)以及無人機遠程操控領(lǐng)域，尤其涉及一種基于AR眼鏡的無人機操控系統(tǒng)及方法。

背景技術(shù)

AR眼鏡與無人機相在聯(lián)合巡檢時，AR眼鏡是作為外接的觀看模塊，通過無線投屏或連接線接入無人機，獲取視頻畫面。而AR眼鏡僅作為外接觀看的顯示設備，缺少與無人機的操控交互。

發(fā)明內(nèi)容

本發(fā)明提供一種基于AR眼鏡的無人機操控系統(tǒng)及方法。

第一方面，本發(fā)明提供了一種基于AR眼鏡的無人機操控系統(tǒng)，包括：頭動操控模塊，用于根據(jù)用戶頭部的旋轉(zhuǎn)角度控制無人機攝像頭的轉(zhuǎn)動角度；語音操控模塊，用于接收用戶輸入的語音，并根據(jù)預設的關(guān)鍵詞喚醒和操控無人機；手勢操控模塊，用于捕捉到用戶的手勢和手指的坐標以觸發(fā)相應的功能。

進一步地，所述頭動操控模塊還用于獲取至少一個自由度的旋轉(zhuǎn)角度，并將關(guān)于所述至少一個自由度的旋轉(zhuǎn)角度的控制信號發(fā)送至無人機，以控制無人機攝像頭根據(jù)所述至少一個自由度的旋轉(zhuǎn)角度轉(zhuǎn)動。

進一步地，所述頭動操控模塊還用于根據(jù)AR眼鏡內(nèi)部的陀螺儀獲取至少一個自由度的旋轉(zhuǎn)角度，并調(diào)取已設定好的轉(zhuǎn)動角度對照表，根據(jù)所述對照表和陀螺儀獲取的至少一個自由度的旋轉(zhuǎn)角度確定對應無人機的至少一個自由度的旋轉(zhuǎn)角度，將關(guān)于所述對應無人機的至少一個自由度的旋轉(zhuǎn)角度的控制信號發(fā)送至無人機，以控制無人機攝像頭根據(jù)所述控制信號轉(zhuǎn)動至少一個自由度的旋轉(zhuǎn)角度。

進一步地，所述頭動操控模塊還用于根據(jù)無人機能夠轉(zhuǎn)動的最大角度控制無人機攝像頭的轉(zhuǎn)動角度。

進一步地，語音操控模塊還用于根據(jù)預設的喚醒詞喚醒無人機，根據(jù)預設的指令詞操控無人機。

進一步地，語音操控模塊還用于根據(jù)預設的指令詞操控無人機的飛行狀態(tài)，以及操控無人機的攝像頭。

進一步地，所述功能包括無人機鏡頭對焦、在AR眼鏡的視野中標記重點區(qū)域和控制無人機拍攝畫面的功能。

進一步地，所述系統(tǒng)還包括：存儲模塊，用于將語音操控模塊接收的語音轉(zhuǎn)換為文字并記錄下來，以及用于綁定存儲對應所述文字的無人機拍攝的畫面。

第二方面，本發(fā)明還提供了一種基于AR眼鏡的無人機操控方法，包括：響應于獲取用戶頭部的旋轉(zhuǎn)角度和/或用戶輸入的語音和/或用戶的手勢和手指的坐標，將相應的控制信號發(fā)送至無人機，以控制無人機攝像頭的轉(zhuǎn)動角度和/或喚醒和操控無人機和/或觸發(fā)其他功能。

第三方面，本發(fā)明還提供了一種基于AR眼鏡的無人機操控裝置，包括第一處理模塊，用于：響應于獲取用戶頭部的旋轉(zhuǎn)角度和/或用戶輸入的語音和/或用戶的手勢和手指的坐標，將相應的控制信號發(fā)送至無人機，以控制無人機攝像頭的轉(zhuǎn)動角度和/或喚醒和操控無人機和/或觸發(fā)其他功能。

第四方面，本發(fā)明還提供一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執(zhí)行所述程序時實現(xiàn)如上述的基于AR眼鏡的無人機操控方法的步驟。

第五方面，本發(fā)明還提供一種非暫態(tài)計算機可讀存儲介質(zhì)，其上存儲有計算機程序，該計算機程序被處理器執(zhí)行時實現(xiàn)如上述的基于AR眼鏡的無人機操控方法的步驟。