[發明專利]信息處理裝置、計算機可讀介質和頭戴式顯示裝置

有效

• 申請號: 201810620562.4
• 申請日: 2018-06-15
• 公開（公告）號: CN109146965B
• 公開（公告）日: 2022-10-25
• 發明（設計）人: 楊楊;王潔;符國益
• 申請（專利權）人: 精工愛普生株式會社
• 主分類號: G06T7/73
• 分類號: G06T7/73
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 呂俊剛;楊薇

1.一種用于跟蹤用戶正在觀看的對象的姿態的方法，該方法包括以下步驟：

從相機獲取圖像數據序列；

從慣性傳感器獲取傳感器數據序列，所述慣性傳感器相對于所述相機以第一空間關系固定或者可調節地固定；

利用計算機處理器，使用所述圖像數據序列中的圖像幀和基于與所述對象對應的3D模型創建的模板數據來推導所述對象的第一姿態；

利用所述計算機處理器，至少基于(1)所述第一姿態或從所述第一姿態跟蹤的姿態、(2)所述傳感器數據序列和(3)所述第一空間關系來推導所述對象或所述3D模型上定義的對象坐標系與全局坐標系之間的第二空間關系；

利用所述計算機處理器，使用非線性估計算法，至少基于所述圖像數據序列、所述傳感器數據序列和所述第二空間關系來推導所述對象的第二姿態；以及

利用顯示器，使用所述對象的所述第二姿態來顯示圖像。

2.根據權利要求1所述的方法，其中，所述非線性估計算法包括擴展卡爾曼濾波(EKF)算法。

3.根據權利要求1所述的方法，其中，所述非線性估計算法包括粒子濾波、無跡卡爾曼濾波(UKF)或最大似然非線性系統估計中的一個。

4.根據權利要求1所述的方法，該方法還包括以下步驟：

至少基于所述傳感器數據序列，通過所述非線性估計算法依次預測所述慣性傳感器相對于所述全局坐標系的傳感器姿態；以及

在所述圖像數據序列中的連續圖像幀之間，至少基于所預測的傳感器姿態、所述第二空間關系和所述3D模型上的3D點，對所述對象的2D特征點進行匹配，所述3D點與所述2D特征點對應，

其中，推導所述第二姿態的步驟至少基于(1)所匹配的2D特征點、(2)所述傳感器姿態或依次預測的另一傳感器姿態和(3)所述第二空間關系。

5.根據權利要求4所述的方法，

其中，所述匹配步驟包括在所述連續圖像幀之間將所述對象的所述2D特征點匹配至所述對象上的預定特征點。

6.根據權利要求5所述的方法，其中，所述預定特征點是所述對象的拐角或邊緣之一。

7.根據權利要求4所述的方法，該方法還包括以下步驟：

通過所述非線性估計算法，基于包括在所述傳感器數據序列中的陀螺儀和加速度計的讀數來依次預測所述傳感器姿態，所述陀螺儀和所述加速度計包括在所述慣性傳感器中。

8.根據權利要求4所述的方法，該方法還包括以下步驟：

確定所述慣性傳感器是否相對于所述對象保持靜止或基本上靜止；以及

當所述慣性傳感器被確定為保持靜止或基本上靜止時，通過所述非線性估計算法，基于包括在所述傳感器數據序列中的加速度計的讀數來預測所述傳感器姿態。

9.根據權利要求4所述的方法，該方法還包括以下步驟：

基于所述傳感器數據序列確定所述慣性傳感器是否處于發散狀況以外的狀況；以及

在所述慣性傳感器被確定為處于所述發散狀況以外的狀況的情況下，在包括后一圖像幀和前一圖像幀的所述連續圖像幀之間對所述對象的所述2D特征點進行匹配之前，基于所述前一圖像幀上的2D特征點位置、所述傳感器姿態和所述第一空間關系來預測所述后一圖像幀上的2D特征點位置。

10.根據權利要求1所述的方法，該方法還包括以下步驟：

基于所述傳感器數據序列確定所述慣性傳感器是否保持靜止或基本上靜止；以及

在所述慣性傳感器被確定為保持靜止或基本上靜止的情況下，使用先前通過所述非線性估計算法預測的傳感器姿態作為下一預測的傳感器姿態。

11.根據權利要求1所述的方法，該方法還包括以下步驟：

將所述第二空間關系存儲在媒體存儲介質中以使得所述第二空間關系對訪問能夠與所述存儲介質通信的計算機的第一裝置可用。