[發明專利]基于AR/VR眼鏡的交互方法、裝置及AR/VR眼鏡

在審

• 申請號: 202210290510.1
• 申請日: 2022-03-23
• 公開（公告）號: CN114610156A
• 公開（公告）日: 2022-06-10
• 發明（設計）人: 李穎;邵柏韜;劉朋浩;姜飛俊
• 申請（專利權）人: 浙江貓精人工智能科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06V20/40;G06V40/20;G06N3/04;G06N3/08
• 代理公司: 北京智信禾專利代理有限公司 11637
• 代理人: 趙杰

1.一種基于AR/VR眼鏡的交互方法，所述方法包括：

獲取AR/VR眼鏡的圖像采集設備采集的視頻流；

從所述視頻流提取目標的動作形態和動作參量；

判斷所述目標的動作形態和動作參量是否符合預設喚醒動作；

在符合預設喚醒動作的情況下，通過對所述視頻流中的目標進行追蹤，得到所述目標的時序動作數據；

基于所述目標的時序動作數據控制所述AR/VR眼鏡執行對應的交互操作。

2.根據權利要求1所述的方法，所述基于所述目標的時序動作數據控制所述AR/VR眼鏡執行對應的交互操作，包括：

獲取交互界面的屏幕坐標系；

計算出所述目標的預設多個關鍵點在所述視頻流中的坐標序列；

計算所述坐標序列在所述屏幕坐標系對應的交互位置；

在所述時序動作數據滿足所述交互位置的預設操作條件的情況下，控制所述AR/VR眼鏡執行所述預設操作條件對應的交互渲染與交互操作。

3.根據權利要求1所述的方法，所述判斷所述目標的動作形態和動作參量是否符合預設喚醒動作，包括：

計算出所述目標在所述視頻流中的時序圖像特征；

計算出所述目標的預設多個關鍵點在所述視頻流中的坐標序列；

將所述坐標序列與所述目標的時序圖像特征進行融合，得到融合后的動作特征，所述動作特征包括動作形態特征和動作參量；

判斷融合后的動作特征是否符合預設喚醒動作。

4.根據權利要求2或3所述的方法，所述計算出所述目標的預設多個關鍵點在所述視頻流中的坐標序列，包括：

基于多分支深度卷積神經網絡，對所述目標在所述視頻流的多個采樣幀中所在的區域進行預設多個關鍵點的坐標的預測，其中，所述多分支深度卷積神經網絡是基于多分支結構對不同分辨率的圖片進行特征學習訓練得到的。

5.根據權利要求4所述的方法，所述多分支深度卷積神經網絡中包括以下任一種設置或多種設置的組合：

由1x1卷積，分組卷積，以及空洞卷積組成的卷積模塊；

用于多分支卷積交叉融合計算的1x1卷積；

用于編譯層中的分組卷積集中存放數據的存儲區域。

6.根據權利要求2或3所述的方法，所述目標為人手，所述預設多個關鍵點包括人手的關節點和/或手指的指尖點。

7.根據權利要求1所述的方法，還包括：

在符合預設喚醒動作的情況下，確定進入連續交互狀態；

在所述連續交互狀態下，利用所述目標的時序動作數據對追蹤到的目標進行動作識別，判斷所述目標的動作是否為預設正確交互動作；

如果否，退出連續交互狀態，重新進入所述獲取AR/VR眼鏡的圖像采集設備采集的視頻流的步驟。

8.根據權利要求1所述的方法，所述AR/VR眼鏡的圖像采集設備為單目攝像頭。

9.一種AR/VR眼鏡，包括：

圖像采集設備、存儲器和處理器；

所述存儲器用于存儲計算機可執行指令，所述處理器用于執行所述計算機可執行指令，該計算機可執行指令被處理器執行時實現權利要求1至8任意一項所述基于AR/VR眼鏡的交互方法的步驟。

10.一種計算機可讀存儲介質，其存儲有計算機可執行指令，該計算機可執行指令被處理器執行時實現權利要求1至8任意一項所述基于AR/VR眼鏡的交互方法的步驟。