[發明專利]一種AR眼鏡控制方法、裝置、AR眼鏡及存儲介質

在審

• 申請號: 202011465284.3
• 申請日: 2020-12-14
• 公開（公告）號: CN112596605A
• 公開（公告）日: 2021-04-02
• 發明（設計）人: 喻純;史元春;翁躍庭
• 申請（專利權）人: 清華大學;交互未來（北京）科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06K9/00
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 任美玲

1.一種AR眼鏡控制方法，其特征在于，所述AR眼鏡設置有圖像拍攝裝置，所述AR眼鏡控制方法包括：

獲取所述圖像拍攝裝置拍攝的用戶面部圖像；

根據所述用戶面部圖像確定觸摸信息；其中，所述觸摸信息包括手指在面部的觸摸位置、觸摸幅度和手指姿態；

確定所述觸摸信息對應的目標觸摸手勢，并查詢指令映射集中與所述目標觸摸手勢對應的目標控制指令；其中，所述指令映射集中存儲有預設觸摸手勢與控制指令的映射關系；

控制所述AR眼鏡執行所述目標控制指令對應的操作。

2.根據權利要求1所述AR眼鏡控制方法，其特征在于，所述圖像拍攝裝置的攝像頭設置于所述AR眼鏡的鼻梁架和/或眼鏡樁頭；

其中，所述圖像拍攝裝置的拍攝方向與所述AR眼鏡的眼鏡腿所在的平面的夾角在預設角度區間內。

3.根據權利要求1所述AR眼鏡控制方法，其特征在于，所述圖像拍攝裝置包括紅外攝像頭、RGB攝像頭和深度攝像頭中的任一種或任幾種的組合。

4.根據權利要求1所述AR眼鏡控制方法，其特征在于，根據所述用戶面部圖像確定觸摸信息，包括：

根據所述用戶面部圖像中的圖像特征將所述用戶面部圖像劃分為多個觸摸區域；其中，所述觸摸區域包括鼻子區域、臉頰區域和下巴區域；

根據多張所述用戶面部圖像中所述圖像特征的變化信息確定手指位置，并根據所述手指位置所在的觸摸區域確定所述觸摸位置；

根據所述手指位置所在的觸摸區域的形變程度確定所述觸摸幅度。

5.根據權利要求4所述AR眼鏡控制方法，其特征在于，

若所述圖像拍攝裝置包括紅外攝像頭，則所述圖像特征包括所述用戶面部圖像中像素點的亮度值；

若所述圖像拍攝裝置包括RGB攝像頭，則所述圖像特征包括所述用戶面部圖像中像素點的顏色值；

若所述圖像拍攝裝置包括深度攝像頭，則所述圖像特征包括所述用戶面部圖像中像素點的深度值。

6.根據權利要求1所述AR眼鏡控制方法，其特征在于，確定所述觸摸信息對應的目標觸摸手勢，包括：

根據多張連續所述用戶面部圖像的觸摸信息生成手部觸摸序列；其中，所述手部觸摸序列包括所有手部觸摸點的觸摸順序和觸摸幅度；

將觸摸手勢集中與所述手部觸摸序列相似度最高的觸摸手勢設置為所述目標觸摸手勢。

7.根據權利要求1至6任一項所述AR眼鏡控制方法，其特征在于，所述AR眼鏡還包括佩戴檢測裝置；其中，所述佩戴檢測裝置包括接觸傳感器、溫度傳感器、環境光傳感器和加速度傳感器中任一種或任幾種的組合；

相應的，還包括：

根據所述佩戴檢測裝置采集的數據判斷所述AR眼鏡是否處于佩戴狀態；

若是，則進入獲取所述圖像拍攝裝置拍攝的用戶面部圖像的步驟。

8.一種AR眼鏡控制裝置，其特征在于，應用于設置有圖像拍攝裝置的AR眼鏡，所述AR眼鏡控制裝置包括：

圖像獲取模塊，用于獲取所述圖像拍攝裝置拍攝的用戶面部圖像；

觸摸信息確定模塊，用于根據所述用戶面部圖像確定觸摸信息；其中，所述觸摸信息包括手指在面部的觸摸位置、觸摸幅度和手指姿態；

指令識別模塊，用于確定所述觸摸信息對應的目標觸摸手勢，并查詢指令映射集中與所述目標觸摸手勢對應的目標控制指令；其中，所述指令映射集中存儲有預設觸摸手勢與控制指令的映射關系；

控制模塊，用于控制所述AR眼鏡執行所述目標控制指令對應的操作。

9.一種AR眼鏡，其特征在于，包括圖像拍攝裝置、存儲器和處理器，所述存儲器中存儲有計算機程序，所述處理器調用所述存儲器中的計算機程序時實現如權利要求1至7任一項所述AR眼鏡控制方法的步驟。

10.一種存儲介質，其特征在于，所述存儲介質中存儲有計算機可執行指令，所述計算機可執行指令被處理器加載并執行時，實現如上權利要求1至7任一項所述AR眼鏡控制方法的步驟。