[發(fā)明專利]頭戴式一體機(jī)系統(tǒng)及其6DoF追蹤方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202011279532.5
• 申請(qǐng)日: 2020-11-16
• 公開（公告）號(hào): CN112527102B
• 公開（公告）日: 2022-11-08
• 發(fā)明（設(shè)計(jì)）人: 吳濤
• 申請(qǐng)（專利權(quán)）人: 青島小鳥看看科技有限公司
• 主分類號(hào): G06F3/01
• 分類號(hào): G06F3/01;G06F3/0346;G02B27/01
• 代理公司: 北京市隆安律師事務(wù)所 11323
• 代理人: 權(quán)鮮枝;吳昊

本申請(qǐng)公開了一種頭戴式一體機(jī)系統(tǒng)及其6DoF追蹤方法和裝置。所述方法包括：控制兩路追蹤攝像頭在每一幀曝光時(shí)間段的中心點(diǎn)相同，并控制手柄控制器上的LED燈的亮燈時(shí)刻與兩路追蹤攝像頭在偶數(shù)幀的曝光時(shí)間段的中間時(shí)刻同步；根據(jù)獲取到的兩路追蹤攝像頭的奇數(shù)幀圖像數(shù)據(jù)，實(shí)時(shí)計(jì)算頭戴式一體機(jī)在三維空間中的6DoF追蹤數(shù)據(jù)；根據(jù)獲取到的兩路追蹤攝像頭的偶數(shù)幀圖像數(shù)據(jù)，實(shí)時(shí)計(jì)算手柄控制器在三維空間中的6DoF追蹤數(shù)據(jù)。本申請(qǐng)的方案通過奇偶幀單獨(dú)控制方式，可以緩解用戶頭部和手部兩個(gè)6DoF追蹤模塊一起運(yùn)行時(shí)系統(tǒng)負(fù)載壓力和CPU資源沖突問題，并進(jìn)而降低系統(tǒng)功耗和提高追蹤性能穩(wěn)定性。

技術(shù)領(lǐng)域

本申請(qǐng)涉及頭戴一體機(jī)技術(shù)領(lǐng)域，具體涉及一種頭戴式一體機(jī)系統(tǒng)及其6DoF(Degree of Freedom，自由度)追蹤方法和裝置。

背景技術(shù)

在VR(Virtual Reality，虛擬現(xiàn)實(shí))/AR(Augmented Reality，增強(qiáng)現(xiàn)實(shí))/MR(Mixed Reality，混合現(xiàn)實(shí))技術(shù)領(lǐng)域，用戶的頭部在三維空間中的移動(dòng)和旋轉(zhuǎn)，以及手部在三維空間中的移動(dòng)和旋轉(zhuǎn)是最基礎(chǔ)的交互數(shù)據(jù)。近年來隨著移動(dòng)計(jì)算能力的提高和用戶希望能在VR/AR/MR技術(shù)領(lǐng)域中無拘無束盡情的交互訴求，一體機(jī)形態(tài)的VR、AR或者M(jìn)R頭戴越來越受用戶的歡迎和青睞，因此在移動(dòng)平臺(tái)上用戶的頭部和手部的6DoF的追蹤精度、追蹤范圍和追蹤穩(wěn)定性等關(guān)鍵性能參數(shù)就顯得尤為重要。

目前在頭戴式一體機(jī)領(lǐng)域，主流的有以下兩類方案解決用戶的頭部和手部的6DoF追蹤問題。一類解決方案是：在頭戴式一體機(jī)上設(shè)置多于兩個(gè)，例如設(shè)置四個(gè)的大視角的追蹤攝像頭，通過四個(gè)大視角的追蹤攝像頭實(shí)時(shí)追蹤用戶頭部在三維空間中的位置和姿態(tài)信息6DoF，同時(shí)實(shí)時(shí)追蹤用戶手柄控制器上的幾何圖案，通過計(jì)算機(jī)視覺處理算法實(shí)時(shí)計(jì)算用戶手柄控制器在三維空間中的位置和姿態(tài)信息6DoF。另一類解決方案是：在頭戴式一體機(jī)上設(shè)置兩個(gè)大視角的追蹤攝像頭，通過兩個(gè)大視角的追蹤攝像頭實(shí)時(shí)追蹤用戶頭部在三維空間中的位置和姿態(tài)信息6DoF，同時(shí)在手柄控制器端內(nèi)嵌電磁發(fā)射器/超聲波發(fā)射器，同時(shí)頭戴式一體機(jī)上內(nèi)嵌對(duì)應(yīng)的電磁接收器/超聲波接收器，通過電磁追蹤原理或超聲波位置追蹤原理實(shí)時(shí)解算手柄控制器在三維空間中的位置和姿態(tài)信息。

對(duì)第一類解決方案，雖然追蹤性能可以得到提升，但是從VR頭戴式一體機(jī)角度考慮，追蹤攝像頭的個(gè)數(shù)越多對(duì)設(shè)備整機(jī)的成本、功耗、結(jié)構(gòu)擺放設(shè)計(jì)和結(jié)構(gòu)散熱設(shè)計(jì)等會(huì)帶來比較大的挑戰(zhàn)，而且追蹤攝像頭的功耗在VR頭戴式一體機(jī)里是一個(gè)比較大的耗電和成本元件，目前一體機(jī)一般都是可充電池操作的，追蹤攝像頭的個(gè)數(shù)的增多會(huì)嚴(yán)重影響到一體機(jī)的工作時(shí)長。對(duì)第二類解決方案，由于手柄控制器上的電磁傳感器/超聲波傳感器對(duì)環(huán)境中的電磁信號(hào)/超聲波信號(hào)比較敏感，容易受到環(huán)境中復(fù)雜的電磁信號(hào)/超聲波信號(hào)的干擾，使其電磁傳感器/超聲波傳感器會(huì)產(chǎn)生錯(cuò)誤的手柄控制器的電磁/超聲追蹤數(shù)據(jù)，使得手柄控制器的追蹤性能會(huì)受到比較大的挑戰(zhàn)，導(dǎo)致手柄控制器在一些應(yīng)用場(chǎng)景中，會(huì)有漂移、抖動(dòng)、卡頓等現(xiàn)象，比較嚴(yán)重影響用戶體驗(yàn)。

發(fā)明內(nèi)容

有鑒于此，本申請(qǐng)的主要目的在于提供了一種頭戴式一體機(jī)系統(tǒng)及其6DoF追蹤方法和裝置，用于解決或部分解決上述問題。

依據(jù)本申請(qǐng)的第一方面，提供了一種頭戴式一體機(jī)系統(tǒng)的6DoF追蹤方法，所述頭戴式一體機(jī)系統(tǒng)包括無線通訊連接的頭戴式一體機(jī)和手柄控制器，所述頭戴式一體機(jī)上按照一定的擺放位置和角度約束限制設(shè)置有兩路追蹤攝像頭并內(nèi)嵌有第一IMU傳感器，所述手柄控制器上按照一定的幾何規(guī)則約束設(shè)置有預(yù)設(shè)數(shù)量個(gè)LED燈并內(nèi)嵌有第二IMU傳感器，所述方法包括：

控制兩路所述追蹤攝像頭在每一幀曝光時(shí)間段的中心點(diǎn)相同，并控制所述手柄控制器上的LED燈的亮燈時(shí)刻與兩路所述追蹤攝像頭在偶數(shù)幀的曝光時(shí)間段的中間時(shí)刻同步；

對(duì)獲取到的兩路所述追蹤攝像頭的奇數(shù)幀圖像數(shù)據(jù)，結(jié)合當(dāng)前時(shí)刻的所述第一IMU傳感器的慣性導(dǎo)航數(shù)據(jù)，實(shí)時(shí)計(jì)算所述頭戴式一體機(jī)在三維空間中的6DoF追蹤數(shù)據(jù)；