[發明專利]基于AR/VR眼鏡的交互方法、裝置及AR/VR眼鏡

在審

• 申請號: 202210290510.1
• 申請日: 2022-03-23
• 公開（公告）號: CN114610156A
• 公開（公告）日: 2022-06-10
• 發明（設計）人: 李穎;邵柏韜;劉朋浩;姜飛俊
• 申請（專利權）人: 浙江貓精人工智能科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06V20/40;G06V40/20;G06N3/04;G06N3/08
• 代理公司: 北京智信禾專利代理有限公司 11637
• 代理人: 趙杰

本說明書實施例提供基于AR/VR眼鏡的交互方法以及裝置，其中所述基于AR/VR眼鏡的交互方法包括：獲取AR/VR眼鏡的圖像采集設備采集的視頻流；從所述視頻流提取目標的動作形態和動作參量；判斷所述目標的動作形態和動作參量是否符合預設喚醒動作；在符合預設喚醒動作的情況下，通過對所述視頻流中的目標進行追蹤，得到所述目標的時序動作數據；基于所述目標的時序動作數據控制所述AR/VR眼鏡執行對應的交互操作。

技術領域

本說明書實施例涉及智能穿戴技術領域，特別涉及一種基于AR/VR眼鏡的交互方法以及裝置。

背景技術

隨著智能穿戴技術的發展，為人們提供了AR/VR眼鏡的技術。AR/VR眼鏡，是基于增強現實(Augmented Reality)/虛擬現實(Virtual Reality),將虛擬信息與真實世界巧妙融合的智能穿戴技術。對AR/VR眼鏡進行智能化設計可以為用戶提供多種多樣的交互體驗。

目前，AR/VR眼鏡主要通過一些額外的配件例如手套、手環、綁帶等對距離、接觸的感應來實現交互。但是，這樣的交互方式需要用戶除了AR/VR眼鏡本身之外，還要額外佩戴配件，導致用戶穿戴復雜。

發明內容

有鑒于此，本說明書實施例提供了一種基于AR/VR眼鏡的交互方法。本說明書一個或者多個實施例同時涉及一種基于AR/VR眼鏡的交互裝置，一種AR/VR眼鏡，一種計算機可讀存儲介質以及一種計算機程序，以解決現有技術中存在的技術缺陷。

根據本說明書實施例的第一方面，提供了一種基于AR/VR眼鏡的交互方法，所述方法包括：獲取AR/VR眼鏡的圖像采集設備采集的視頻流；從所述視頻流提取目標的動作形態和動作參量；判斷所述目標的動作形態和動作參量是否符合預設喚醒動作；在符合預設喚醒動作的情況下，通過對所述視頻流中的目標進行追蹤，得到所述目標的時序動作數據；基于所述目標的時序動作數據控制所述AR/VR眼鏡執行對應的交互操作。

可選地，所述AR/VR眼鏡的圖像采集設備為單目攝像頭。

可選地，所述從所述視頻流提取目標的動作形態和動作參量，包括：從所述視頻流抽取采樣幀，從所述采樣幀提取目標的動作形態和動作參量；所述通過對所述視頻流中的目標進行追蹤，得到所述目標的時序動作數據，包括：通過對所述視頻流中的目標進行逐幀地追蹤，得到所述目標的時序動作數據。

可選地，所述基于所述目標的時序動作數據控制所述AR/VR眼鏡執行對應的交互操作，包括：在所述AR/VR眼鏡播放視頻時，基于所述目標的時序動作數據控制所述AR/VR眼鏡對所述視頻執行對應的交互操作。

可選地，所述基于所述目標的時序動作數據控制所述AR/VR眼鏡執行對應的交互操作，包括：獲取交互界面的屏幕坐標系；計算出所述目標的預設多個關鍵點在所述視頻流中的坐標序列；計算所述坐標序列在所述屏幕坐標系對應的交互位置；在所述時序動作數據滿足所述交互位置的預設操作條件的情況下，控制所述AR/VR眼鏡執行所述預設操作條件對應的交互渲染與交互操作。

可選地，還包括：在符合預設喚醒動作的情況下，確定進入連續交互狀態；在所述連續交互狀態下，利用所述目標的時序動作數據對追蹤到的目標進行動作識別，判斷所述目標的動作是否為預設正確交互動作；如果否，退出連續交互狀態，重新進入所述獲取AR/VR眼鏡的圖像采集設備采集的視頻流的步驟。

可選地，所述判斷所述目標的動作形態和動作參量是否符合預設喚醒動作，包括：計算出所述目標在所述視頻流中的時序圖像特征；計算出所述目標的預設多個關鍵點在所述視頻流中的坐標序列；將所述坐標序列與所述目標的時序圖像特征進行融合，得到融合后的動作特征，所述動作特征包括動作形態特征和動作參量；判斷融合后的動作特征是否符合預設喚醒動作。