[發明專利]移動終端的位姿跟蹤方法及設備

有效

• 申請號: 202110555525.1
• 申請日: 2021-05-21
• 公開（公告）號: CN113382365B
• 公開（公告）日: 2022-06-10
• 發明（設計）人: 汪祥春;張銘碩
• 申請（專利權）人: 北京索為云網科技有限公司
• 主分類號: H04W4/029
• 分類號: H04W4/029;H04L67/02;H04L67/52;H04L69/16
• 代理公司: 北京鍾維聯合知識產權代理有限公司 11579
• 代理人: 安娜

本申請實施例提供了一種移動終端的位姿跟蹤方法及設備。由移動終端采集場景圖像數據和運動數據，并基于websocket協議將這些數據實時發送給網絡設備，在網絡設備上實現初始化和位姿跟蹤的處理過程，并實時回傳處理結果，從而支持移動終端的瀏覽器進行位姿跟蹤，繼而使用基于位姿跟蹤的相關功能(例如AR功能)。在網絡設備進行初始化及位姿跟蹤處理過程中，融合了場景圖像數據和運動數據，可以恢復出空間尺度，從而在實現AR功能時允許以真實尺寸渲染虛擬元素。在網絡設備回傳處理結果時，攜帶有時間戳，以便終端設備根據該時間戳判斷接收到的處理結果是否與當前幀待處理數據對應，避免出現亂序。

技術領域

本申請實施例涉及位姿跟蹤技術領域，尤其涉及一種移動終端的位姿跟蹤方法及設備。

背景技術

實時跟蹤移動終端6DoF(6Degree of Freedom，6自由度)位姿是包括無標記(Markerless)增強現實技術(Augmented Reality，AR)在內的諸多技術的核心基礎。

當前在移動終端實現位姿跟蹤的過程如下：通過移動終端的攝像頭采集場景圖像、通過IMU(Inertial Measurement Unit,慣性測量單元)采集IMU數據(包括移動終端的直線加速度和角加速度)，融合場景圖像的數據和IMU數據解算出移動終端的6DoF位姿。實現設備位姿跟蹤的過程也稱為SLAM(Simultaneous Localization And Mapping，即時定位與建圖)。

由于SLAM算法對計算資源要求嚴格，現有移動終端位姿跟蹤實現方案均為APP(Application，應用程序)方式，圖像與IMU數據采集、前端里程計的實現和優化計算等操作均在移動終端本地完成，未安裝APP的用戶無法使用基于SLAM算法的相關功能(如AR功能)，極大限制了相關功能的適用范圍和分享傳播。

發明內容

本申請實施例提供一種移動終端的位姿跟蹤方法及設備，以達到終端用戶通過web瀏覽器使用基于位姿跟蹤的功能的目的。

第一方面，本申請實施例提供一種移動終端的位姿跟蹤方法，應用于網絡設備，包括：

基于websocket協議接收移動終端發送的第i幀待處理數據，所述第i幀待處理數據包括第i幀場景圖像數據和運動數據，所述運動數據包括所述第i幀場景圖像數據與第i-1幀場景圖像數據之間采集得到的運動數據，場景圖像數據基于所述移動終端的視覺傳感器實時采集得到；

對所述第i幀待處理數據進行預處理；

判斷位姿跟蹤初始化是否完成；

若位姿跟蹤初始化未完成，利用預處理后的所述第i幀待處理數據進行位姿跟蹤初始化，基于websocket協議向所述移動終端返回初始化結果，所述初始化結果中攜帶時間戳；

若位姿跟蹤初始化完成，利用預處理后的所述第i幀待處理數據確定所述移動終端的位姿，基于websocket協議向所述移動終端返回位姿跟蹤結果，所述位姿跟蹤結果包括所述位姿和時間戳。

第二方面，本申請實施例提供一種移動終端的位姿跟蹤方法，應用于移動終端，包括：

在預定條件下接收到第i-1幀位姿跟蹤結果或初始化結果后，基于websocket協議向網絡設備發送第i幀待處理數據，所述第i幀待處理數據包括第i幀場景圖像數據和運動數據，所述運動數據包括所述第i幀場景圖像數據與第i-1幀場景圖像數據之間采集得到的運動數據，場景圖像數據基于所述移動終端的視覺傳感器實時采集得到；

基于websocket協議接收所述網絡設備返回的初始化結果，所述初始化結果中攜帶時間戳；或者，

基于websocket協議接收所述網絡設備返回的位姿跟蹤結果，所述位姿跟蹤結果包括位姿和時間戳，利用所述時間戳判斷所述位姿是否為所述第i幀待處理數據對應的位姿。