[發明專利]融合慣性手持控制器與手動跟蹤的六自由度混合現實輸入

有效

• 申請號: 201780035230.3
• 申請日: 2017-06-01
• 公開（公告）號: CN109313495B
• 公開（公告）日: 2021-10-26
• 發明（設計）人: A·O·巴蘭;C·杜魯
• 申請（專利權）人: 微軟技術許可有限責任公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F3/0346
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 王茂華;李崢宇

本發明涉及用于提供無線手持慣性控制器的系統和方法，該無線手持慣性控制器用于與頭戴式、增強或虛擬現實顯示器或以六個自由度操作的其他傳統顯示器一起使用，通過如下操作來實現該系統和方法：融合(i)與從位于顯示器上的深度相機得出的手持慣性控制器的位置相關的數據與(ii)與從位于手持慣性控制器中的慣性測量單元得出的手持慣性控制器的朝向相關的數據。

背景技術

混合現實是允許在顯示器中將虛擬圖像與真實世界物理環境混合的技術。用于混合現實的系統可以包括例如透視頭戴式顯示器(HMD)設備或具有內置相機的智能電話。這種系統通常包括在一個或多個應用的控制下提供圖像的處理單元。使用HMD和其他設備也可以支持其中沒有可查看現實世界對象的完整虛擬現實環境。

這樣的系統還可以包括一個或多個無線手持慣性控制器，系統的用戶可以操縱該無線手持慣性控制器以與HMD交互并向HMD提供用戶輸入，包括但不限于控制和移動虛擬光標、選擇、移動和旋轉對象、滾動等。

提供背景技術以介紹針對以下發明內容和具體實施方式的簡要背景。背景技術不旨在幫助確定所要求保護的主題的范圍，也不旨在視為將所要求保護的主題限制為解決上述任何或所有缺點或問題的實現。此外，本文要求保護的主題不限于解決任何缺點或僅在諸如上述那些環境中操作的實施例。而是，提供背景技術僅用于說明可以實踐本文所描述的一些實施例的一個示例性技術領域。

發明內容

本發明涉及用于提供無線手持慣性控制器(有時在下文中被稱為“控制器”或“多個控制器”)的系統和方法，其用于與以六個自由度(6DOF)操作的HMD一起使用，通過如下操作來實現所述系統和方法：融合(i)與從位于HMD中的面向前向的深度相機得出的控制器的位置相關的數據與(ii)與從位于控制器中的慣性測量單元(IMU)得出的控制器的朝向相關的數據。

在一個實施例中，該系統可以包括：連接到處理器的顯示器；手持輸入設備，該手持輸入設備被配置為與處理器通信以選擇性地提供一個或多個用戶輸入，手持輸入設備還包括第一傳感器，用于確定手持輸入設備相對于預定參考系(frame of reference)的朝向并且向處理器提供朝向數據；位于相對于顯示器的已知位置第二傳感器，用于確定用戶的一只或多只手相對于顯示器的位置，并且用于向處理器提供位置數據，其中處理器使用朝向數據和位置數據來在三維視場內以六個自由度跟蹤用戶的一只或多只手。

在另一個實施例中，該方法可以包括：由頭戴式顯示設備的光學傳感器檢測用戶的手在光學傳感器的視場內的存在；由頭戴式顯示設備確定無線手持慣性控制器是否是活躍的并與頭戴式顯示設備配對；由頭戴式顯示設備的光學傳感器確定用戶的手相對于頭戴式顯示器的位置和朝向；由頭戴式顯示設備的光學傳感器跟蹤用戶的手相對于頭戴式顯示器在一段時間內的移動，以得出表示在該時間段期間用戶的手的軌跡的軌跡數據；由頭戴式顯示設備從無線手持慣性控制器接收由無線手持慣性控制器的慣性測量單元得出的在一段時間內的加速度數據；將軌跡數據與加速度數據進行比較，以計算無線手持設備位于用戶的手中的置信水平；如果置信水平滿足或超過預定的最小閾值，則將從頭戴式顯示設備的光學傳感器得出的位置數據與從無線手持慣性控制器的慣性測量單元得出的朝向數據融合，以在三維空間內以六個自由度跟蹤用戶的手。

提供本發明內容是為了以簡化的形式介紹一些概念，這些概念將在下面的具體實施方式中進一步描述。本發明內容不旨在標識所要求保護的主題的關鍵特征或必要特征，也不旨在用于幫助確定所要求保護的主題的范圍。

附加的特征和優點將在下面的描述中進行闡述，并且部分地將從描述中變得易見，或者可以通過本文的教導的實踐而被獲悉。借助于所附權利要求中特別指出的手段和組合，可以實現和獲得本發明的特征和優點。從以下描述和所附權利要求中，本發明的特征將變得更加明顯，或者可以通過如下所闡述的本發明的實踐而被獲悉。

附圖說明