[發明專利]頭戴式顯示設備的輸入控制方法、裝置及頭戴式顯示設備

在審

• 申請號: 202110341333.0
• 申請日: 2021-03-30
• 公開（公告）號: CN113190109A
• 公開（公告）日: 2021-07-30
• 發明（設計）人: 吳濤
• 申請（專利權）人: 青島小鳥看看科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F3/0481;G06F3/0488;G06T17/00
• 代理公司: 北京博雅睿泉專利代理事務所(特殊普通合伙) 11442
• 代理人: 吳秀娥

本公開涉及一種頭戴式顯示設備的輸入控制方法、裝置、頭戴式顯示設備及計算機可讀存儲介質。該頭戴式顯示設備包括用于攝取目標區域的目標圖像的至少一個相機，該方法包括：在顯示界面顯示有多個虛擬按鍵的情況下，識別目標圖像中是否存在擠壓姿態手勢；其中，擠壓姿態手勢包括：人手中的第一手指的指尖點擠壓在該人手中第二手指的一個指關節點上；在識別目標圖像中存在擠壓姿態手勢的情況下，根據預設的多個指關節與多個虛擬按鍵的對應關系，將擠壓姿態手勢中被擠壓的指關節對應的虛擬按鍵確定為目標虛擬按鍵；將目標虛擬按鍵對應的信息作為用戶輸入信息。

技術領域

本公開實施例涉及虛擬現實技術領域，更具體地，涉及一種頭戴式顯示設備的輸入控制方法、裝置、頭戴式顯示設備及計算機可讀存儲介質。

背景技術

頭戴式顯示設備(Head Mounted Display，HMD)是一種可以穿戴在用戶頭部的顯示設備，能夠實現虛擬現實(Virtual Reality，VR)、增強現實(Augmented Reality，AR)和混合現實(Mixed Reality，MR)等不同效果。

HMD在使用時會使用戶的頭部或者眼睛會處于封閉環境，以使用戶能夠沉浸在虛擬環境中。為了展示AR和MR中的現實內容，HMD上還會安裝至少一個彩色相機，以便通過至少一個彩色相機攝取現實世界中的現實圖像并將其投影至人眼，從而模擬用戶直接看外部的三維物理空間環境。HMD通過其上的顯示界面顯示經過疊加處理的現實圖像和虛擬圖像。

隨著HMD應用領域的增多(例如娛樂領域、醫療領域、教育領域、工業領域等)，HMD的顯示界面中能夠顯示多種多樣的虛擬現實場景(或增強現實場景或混合現實場景)。許多場景下，HMD需要外接例如手柄控制器等額外的硬件設備，以便通過該硬件設備來獲得用戶的輸入信息，實現人機交互。

發明內容

本公開實施例的一個目的是提供一種頭戴式顯示設備的輸入控制的新的技術方案。

根據本公開的第一方面，提供了一種頭戴式顯示設備的輸入控制方法，該頭戴式顯示設備包括用于攝取目標區域的目標圖像的至少一個相機；該方法包括：在顯示界面顯示有多個虛擬按鍵的情況下，識別目標圖像中是否存在擠壓姿態手勢；其中，擠壓姿態手勢包括：人手中的第一手指的指尖點擠壓在該人手中第二手指的一個指關節點上；在識別目標圖像中存在擠壓姿態手勢的情況下，根據預設的多個指關節與多個虛擬按鍵的對應關系，將擠壓姿態手勢中被擠壓的指關節對應的虛擬按鍵確定為目標虛擬按鍵；將目標虛擬按鍵對應的信息作為用戶輸入信息。

可選地，確定目標圖像中是否存在擠壓姿態手勢，包括：檢測目標圖像中是否存在人手；在檢測到目標圖像中存在人手的情況下，識別人手上的骨骼點；其中，骨骼點包括人手的每個手指上的指尖點和指關節點、以及連接人手的腕關節點；實時獲取人手上的骨骼點的三維空間位置信息；對人手上的骨骼點的三維空間位置信息進行追蹤，以確定第一手指上的指尖點和第二手指上的一個指關節點滿足重疊條件的情況下，根據目標圖像確定用戶是否做出擠壓姿態手勢。

可選地，對人手上的骨骼點的三維空間位置信息進行追蹤，包括：獲取預定幀數的人手上的骨骼點的三維空間位置信息；對各骨骼點的三維空間位置信息進行平滑濾波處理，將處理結果作為追蹤結果。

可選地，重疊條件包括：第一手指上的指尖點和第二手指上的一個指關節點發生重疊且重疊狀態的持續幀數大于預設幀數。

可選地，第一手指為大拇指，第二手指為食指、中指和無名指中任一個。

可選地，多個虛擬按鍵包括9個虛擬按鍵，9個虛擬按鍵與所有第二手指的指關節點一一對應。

可選地，該方法還包括：在目標虛擬按鍵對應一個信息情況下，將目標虛擬按鍵對應的該信息作為用戶輸入信息；在目標虛擬按鍵對應按照預設順序排列的n個信息情況下，在連續m次將同一指關節點對應的虛擬按鍵確定為目標虛擬按鍵時，將目標虛擬按鍵對應的第m個信息作為用戶輸入信息；其中，n為自然數且n1；m為自然數且n≥m1。