[發(fā)明專利]一種AR眼鏡控制方法、裝置、AR眼鏡及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202011465284.3
• 申請日: 2020-12-14
• 公開（公告）號: CN112596605A
• 公開（公告）日: 2021-04-02
• 發(fā)明（設(shè)計(jì)）人: 喻純;史元春;翁躍庭
• 申請（專利權(quán)）人: 清華大學(xué);交互未來（北京）科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06K9/00
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 任美玲

本申請公開了一種AR眼鏡控制方法，所述AR眼鏡設(shè)置有圖像拍攝裝置，所述AR眼鏡控制方法包括：獲取所述圖像拍攝裝置拍攝的用戶面部圖像；根據(jù)所述用戶面部圖像確定觸摸信息；其中，所述觸摸信息包括手指在面部的觸摸位置、觸摸幅度和手指姿態(tài)；確定所述觸摸信息對應(yīng)的目標(biāo)觸摸手勢，并查詢指令映射集中與所述目標(biāo)觸摸手勢對應(yīng)的目標(biāo)控制指令；其中，所述指令映射集中存儲有預(yù)設(shè)觸摸手勢與控制指令的映射關(guān)系；控制所述AR眼鏡執(zhí)行所述目標(biāo)控制指令對應(yīng)的操作。本申請能夠?qū)崿F(xiàn)基于手對臉手勢的AR眼鏡控制，提高AR眼鏡交互的靈活性。本申請還公開了一種AR眼鏡控制裝置、一種存儲介質(zhì)及一種AR眼鏡，具有以上有益效果。

技術(shù)領(lǐng)域

本申請涉及智能穿戴設(shè)備技術(shù)領(lǐng)域，特別涉及一種AR眼鏡控制方法、一 種AR眼鏡控制裝置、一種AR眼鏡及一種存儲介質(zhì)。

背景技術(shù)

AR(Augmented Reality，增強(qiáng)現(xiàn)實(shí))技術(shù)是一種將真實(shí)世界信息和虛擬世 界信息無縫集成的技術(shù)，AR技術(shù)可以在在屏幕上把虛擬世界套在現(xiàn)實(shí)世界并 進(jìn)行互動。

目前存在基于手機(jī)前置攝像頭識別用戶手勢執(zhí)行相應(yīng)操作的方案，但是 這些檢測技術(shù)能夠感測到的手勢只限于簡單和離散的手勢，尚不存在基于手 對臉手勢的AR眼鏡控制方法。

因此，如何實(shí)現(xiàn)基于手對臉手勢的AR眼鏡控制，提高AR眼鏡交互的靈 活性是本領(lǐng)域技術(shù)人員目前需要解決的技術(shù)問題。

發(fā)明內(nèi)容

本申請的目的是提供一種AR眼鏡控制方法、一種AR眼鏡控制裝置、一 種AR眼鏡及一種存儲介質(zhì)，能夠?qū)崿F(xiàn)基于手對臉手勢的AR眼鏡控制，提高 AR眼鏡交互的靈活性。

為解決上述技術(shù)問題，本申請?zhí)峁┮环NAR眼鏡控制方法，所述AR眼鏡 設(shè)置有圖像拍攝裝置，該AR眼鏡控制方法包括：

獲取所述圖像拍攝裝置拍攝的用戶面部圖像；

根據(jù)所述用戶面部圖像確定觸摸信息；其中，所述觸摸信息包括手指在 面部的觸摸位置、觸摸幅度和手指姿態(tài)；

確定所述觸摸信息對應(yīng)的目標(biāo)觸摸手勢，并查詢指令映射集中與所述目 標(biāo)觸摸手勢對應(yīng)的目標(biāo)控制指令；其中，所述指令映射集中存儲有預(yù)設(shè)觸摸 手勢與控制指令的映射關(guān)系；

控制所述AR眼鏡執(zhí)行所述目標(biāo)控制指令對應(yīng)的操作。

可選的，所述圖像拍攝裝置的攝像頭設(shè)置于所述AR眼鏡的鼻梁架和/或 眼鏡樁頭；

其中，所述圖像拍攝裝置的拍攝方向與所述AR眼鏡的眼鏡腿所在的平面 的夾角在預(yù)設(shè)角度區(qū)間內(nèi)。

可選的，所述圖像拍攝裝置包括紅外攝像頭、RGB攝像頭和深度攝像頭 中的任一種或任幾種的組合。

可選的，根據(jù)所述用戶面部圖像確定觸摸信息，包括：

根據(jù)所述用戶面部圖像中的圖像特征將所述用戶面部圖像劃分為多個觸 摸區(qū)域；其中，所述觸摸區(qū)域包括鼻子區(qū)域、臉頰區(qū)域和下巴區(qū)域；

根據(jù)多張所述用戶面部圖像中所述圖像特征的變化信息確定手指位置， 并根據(jù)所述手指位置所在的觸摸區(qū)域確定所述觸摸位置；

根據(jù)所述手指位置所在的觸摸區(qū)域的形變程度確定所述觸摸幅度。

可選的，若所述圖像拍攝裝置包括紅外攝像頭，則所述圖像特征包括所 述用戶面部圖像中像素點(diǎn)的亮度值；

若所述圖像拍攝裝置包括RGB攝像頭，則所述圖像特征包括所述用戶面 部圖像中像素點(diǎn)的顏色值；

若所述圖像拍攝裝置包括深度攝像頭，則所述圖像特征包括所述用戶面 部圖像中像素點(diǎn)的深度值。

可選的，確定所述觸摸信息對應(yīng)的目標(biāo)觸摸手勢，包括：