[發(fā)明專利]頭戴式一體機系統(tǒng)及其6DoF追蹤方法和裝置

有效

• 申請?zhí)枺?/td>: 202011279532.5
• 申請日: 2020-11-16
• 公開（公告）號: CN112527102B
• 公開（公告）日: 2022-11-08
• 發(fā)明（設計）人: 吳濤
• 申請（專利權(quán)）人: 青島小鳥看看科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F3/0346;G02B27/01
• 代理公司: 北京市隆安律師事務所 11323
• 代理人: 權(quán)鮮枝;吳昊

1.一種頭戴式一體機系統(tǒng)的6DoF追蹤方法，其特征在于，所述頭戴式一體機系統(tǒng)包括無線通訊連接的頭戴式一體機和手柄控制器，所述頭戴式一體機上按照一定的擺放位置和角度約束限制設置有兩路追蹤攝像頭并內(nèi)嵌有第一IMU傳感器，所述手柄控制器上按照一定的幾何規(guī)則約束設置有預設數(shù)量個LED燈并內(nèi)嵌有第二IMU傳感器，所述方法包括：

控制兩路所述追蹤攝像頭在每一幀曝光時間段的中心點相同，并控制所述手柄控制器上的LED燈的亮燈時刻與兩路所述追蹤攝像頭在偶數(shù)幀的曝光時間段的中間時刻同步；

對獲取到的兩路所述追蹤攝像頭的奇數(shù)幀圖像數(shù)據(jù)，結(jié)合當前時刻的所述第一IMU傳感器的慣性導航數(shù)據(jù)，實時計算所述頭戴式一體機在三維空間中的6DoF追蹤數(shù)據(jù)；

對獲取到的兩路所述追蹤攝像頭的偶數(shù)幀圖像數(shù)據(jù)，結(jié)合當前時刻的所述第二IMU傳感器的慣性導航數(shù)據(jù)和當前時刻的所述頭戴式一體機的6DoF追蹤數(shù)據(jù)，實時計算所述手柄控制器在三維空間中的6DoF追蹤數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

在進行6DoF追蹤之前，對兩路所述追蹤攝像頭和所述第一IMU傳感器進行設備標定，得到的標定校準參數(shù)包括：每路追蹤攝像頭的內(nèi)參、鏡頭的畸變參數(shù)和相對所述第一IMU傳感器的旋轉(zhuǎn)和平移參數(shù)，以及所述第一IMU傳感器的基礎(chǔ)校準參數(shù)；

根據(jù)所述標定校準參數(shù)采用統(tǒng)一坐標系，所述統(tǒng)一坐標系的原點坐標位置選取為所述第一IMU傳感器的物理位置。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述對獲取到的兩路所述追蹤攝像頭的奇數(shù)幀圖像數(shù)據(jù)，結(jié)合當前時刻的所述第一IMU傳感器的慣性導航數(shù)據(jù)，實時計算所述頭戴式一體機在三維空間中的6DoF追蹤數(shù)據(jù)，包括：

在獲取到兩路所述追蹤攝像頭的當前奇數(shù)幀圖像數(shù)據(jù)時，結(jié)合所述標定校準參數(shù)和當前時刻的所述第一IMU傳感器的慣性導航數(shù)據(jù)，實時計算所述頭戴式一體機在三維空間中的6DoF追蹤數(shù)據(jù)；

對當前奇數(shù)幀對應幀率下的所述頭戴式一體機在三維空間中的6DoF追蹤數(shù)據(jù)，結(jié)合當前時刻的所述第一IMU傳感器的慣性導航數(shù)據(jù)，實時預積分得到第一預設高幀率下的所述頭戴式一體機在三維空間中的6DoF追蹤數(shù)據(jù)。

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述對獲取到的兩路所述追蹤攝像頭的偶數(shù)幀圖像數(shù)據(jù)，結(jié)合當前時刻的所述第二IMU傳感器的慣性導航數(shù)據(jù)和當前時刻的所述頭戴式一體機的6DoF追蹤數(shù)據(jù)，實時計算所述手柄控制器在三維空間中的6DoF追蹤數(shù)據(jù)，包括：

在獲取到兩路所述追蹤攝像頭的當前偶數(shù)幀圖像數(shù)據(jù)時，對每一路圖像上的所述手柄控制器上的LED燈對應的發(fā)光光斑繼續(xù)進行光斑檢測，獲取每一個LED燈的光斑在兩路圖像上的二維坐標數(shù)據(jù)；

對每一個LED燈的光斑在兩路圖像上的二維坐標數(shù)據(jù)，結(jié)合當前時刻的所述第二IMU傳感器的慣性導航數(shù)據(jù)、當前時刻的所述頭戴式一體機的6DoF追蹤數(shù)據(jù)，以及所述標定校準參數(shù)，通過PNP求解算法實時計算所述手柄控制器相對于所述統(tǒng)一坐標系的6DoF追蹤數(shù)據(jù)；

對當前偶數(shù)幀對應幀率下的所述手柄控制器相對于所述統(tǒng)一坐標系的6DoF追蹤數(shù)據(jù)，結(jié)合所述第二IMU傳感器的慣性導航數(shù)據(jù)，實時預積分得到第二預設高幀率下的所述手柄控制器在三維空間中的6DoF追蹤數(shù)據(jù)。

5.根據(jù)權(quán)利要求1-4任一項所述的方法，其特征在于，兩路所述追蹤攝像頭的規(guī)格相同，具有的規(guī)格參數(shù)包括：視場角FOV最少在130°*100°*150°(H*V*D)；幀率最少60Hz；分辨率至少為VGA或者720P；采用全局快門曝光方式；鏡頭可同時通過可見光波段和850nm紅外光；

相對于以所述頭戴式一體機的中心為坐標系原點建立的垂直坐標系，其中X軸代表水平方向，Y軸代表上下方向，Z軸代表前后方向，兩路所述追蹤攝像頭在所述頭戴式一體機上的擺放位置和角度約束限制包括：左側(cè)的追蹤攝像頭可以繞X軸向上旋轉(zhuǎn)第一角度范圍，繞Y軸向左旋轉(zhuǎn)第二角度范圍；右側(cè)的追蹤攝像頭可以繞X軸向下旋轉(zhuǎn)第三角度范圍，繞Y軸向右旋轉(zhuǎn)第四角度范圍；兩路追蹤攝像頭均可以在X軸方向上和Y軸方向上進行位置移動，且兩路追蹤攝像頭的光軸中心點的距離在X軸方向上位于第一距離范圍內(nèi)，在Y軸方向上位于第二距離范圍內(nèi)。