[發明專利]頭戴顯示設備的虛擬鍵盤顯示方法、裝置及頭戴顯示設備

有效

• 申請號: 202010144808.2
• 申請日: 2020-03-04
• 公開（公告）號: CN111427446B
• 公開（公告）日: 2023-10-13
• 發明（設計）人: 陳偉民;舒玉龍;吳濤;周宏偉
• 申請（專利權）人: 青島小鳥看看科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G02B27/01
• 代理公司: 北京風雅頌專利代理有限公司 11403
• 代理人: 徐雅琴

本發明公開了一種頭戴顯示設備的虛擬鍵盤顯示方法、裝置及頭戴顯示設備，該方法包括：獲取鍵盤圖像，鍵盤圖像中鍵盤的按鍵表面設置有編碼圖案標簽；識別鍵盤圖像中的編碼圖案標簽，獲取編碼信息，編碼信息至少包括編碼圖案標簽的角點信息；在成功識別鍵盤圖像中的編碼圖案標簽的情況下，根據編碼圖案標簽的角點信息，確定編碼圖案標簽對應的第一按鍵的位置信息；根據第一按鍵的位置信息向用戶呈現虛擬鍵盤。

技術領域

本發明涉及虛擬現實技術領域，更具體地，本發明涉及一種頭戴顯示設備中虛擬鍵盤的顯示方法、一種頭戴顯示設備中虛擬鍵盤的顯示裝置、及一種頭戴顯示設備。

背景技術

虛擬現實(Virtual Reality，VR)技術通過計算機系統模擬出虛擬的三維世界，借助顯示系統和交互系統，向使用者提供視覺、聽覺、觸覺等感官的模擬體驗，同時使用者能夠與虛擬場景進行互動交互，帶給使用者身臨其境的感受。因此，交互技術是虛擬現實系統實現的關鍵性技術之一，決定了使用者如何在虛擬世界中與目標進行互動。

現有技術方案中，鍵盤檢測與定位方法主要依賴鍵盤的形態學特征。在頭戴VR設備運動變化豐富的應用場景下，鍵盤在不同拍攝角度下的形態會產生變化，導致難以通過單一的形態特征完成持續穩定且精準的檢測與定位；對于不同品牌鍵盤的幾何形狀不同，這種檢測與定位方式需要進行適配，檢測難度較大；此外，手部在于鍵盤的交互過程中不可避免的對鍵盤產生一定的遮擋，在一定程度上破壞了鍵盤在圖像中幾何形狀的完整性，這種檢測與定位方式難以實現對鍵盤的精確定位。

因此，有必要提供一種新的顯示虛擬鍵盤的方案。

發明內容

本發明的目的在于提供一種虛擬鍵盤顯示的新技術方案。

根據本發明的第一方面，提供了一種頭戴顯示設備中虛擬鍵盤的顯示裝置，所述方法包括：

獲取鍵盤圖像，所述鍵盤圖像中鍵盤的按鍵表面設置有編碼圖案標簽；

識別所述鍵盤圖像中的編碼圖案標簽，獲取編碼信息，所述編碼信息至少包括所述編碼圖案標簽的角點信息；

在成功識別所述鍵盤圖像中的編碼圖案標簽的情況下，根據所述編碼圖案標簽的角點信息，確定所述編碼圖案標簽對應的第一按鍵的位置信息；

根據所述第一按鍵的位置信息向用戶呈現虛擬鍵盤。

可選地，還包括：

在未成功識別所述鍵盤圖像中的編碼圖案標簽的情況下，將呈現的虛擬鍵盤與預設的鍵盤進行比較，確定虛擬鍵盤中缺少的第二按鍵；

根據所述第一按鍵與所述第二按鍵的位置關系、所述第一按鍵對應的所述編碼圖案標簽的角點信息，確定所述第二按鍵對應的編碼圖案標簽的角點信息；

根據所述第二按鍵對應的編碼圖案標簽的角點信息，確定第二按鍵的位置信息；

根據所述第二按鍵的位置信息，向用戶呈現虛擬鍵盤中缺少的所述第二按鍵。

可選地，所述鍵盤圖像中還包括用戶的手部形狀；所述方法還包括：

提取所述鍵盤圖像中的手部輪廓；

根據所述手部輪廓，確定所述手部輪廓的位置信息；

根據所述手部輪廓的位置信息，向用戶呈現與所述虛擬鍵盤交互的手部形狀。

可選地，還包括：

根據所述手部輪廓的位置信息，確定用戶按壓的按鍵；

執行與所述用戶按壓的按鍵對應的指令。

可選地，所述鍵盤圖像包括通過雙目相機采集的第一目圖像和第二目圖像，所述編碼信息還包括標簽編號；