[發(fā)明專利]終端的位姿跟蹤方法、AR渲染方法、設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110555745.4
• 申請(qǐng)日: 2021-05-21
• 公開（公告）號(hào): CN113298692A
• 公開（公告）日: 2021-08-24
• 發(fā)明（設(shè)計(jì)）人: 汪祥春
• 申請(qǐng)（專利權(quán)）人: 北京索為云網(wǎng)科技有限公司
• 主分類號(hào): G06T1/20
• 分類號(hào): G06T1/20;G06T7/246
• 代理公司: 北京鍾維聯(lián)合知識(shí)產(chǎn)權(quán)代理有限公司 11579
• 代理人: 安娜

本申請(qǐng)實(shí)施例提供了一種終端的位姿跟蹤方法、AR渲染方法、設(shè)備及存儲(chǔ)介質(zhì)。其方法應(yīng)用于終端設(shè)備，包括：瀏覽器主線程調(diào)用所述移動(dòng)終端的視覺傳感器按照第一預(yù)定頻率采集圖像數(shù)據(jù)；將采集到的圖像數(shù)據(jù)轉(zhuǎn)換為灰度圖；調(diào)用web worker實(shí)時(shí)構(gòu)建每幀灰度圖的圖像金字塔；對(duì)于每幀灰度圖，web worker利用web GPU或web GL模塊對(duì)每幀灰度圖的圖像金字塔進(jìn)行實(shí)時(shí)處理，web GPU或web GL模塊用于調(diào)用GPU進(jìn)行并行數(shù)據(jù)處理；在位姿跟蹤初始化階段，瀏覽器主線程利用當(dāng)前實(shí)時(shí)處理結(jié)果進(jìn)行位姿跟蹤初始化，輸出初始化結(jié)果；位姿跟蹤初始化完成后，利用當(dāng)前實(shí)時(shí)處理結(jié)果確定當(dāng)前位姿，輸出當(dāng)前位姿數(shù)據(jù)。

技術(shù)領(lǐng)域

本申請(qǐng)實(shí)施例涉及位姿跟蹤技術(shù)領(lǐng)域，尤其涉及一種終端的位姿跟蹤方法、AR渲染方法、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

增強(qiáng)現(xiàn)實(shí)(Augmented Reality，AR)技術(shù)是一種將虛擬信息與真實(shí)世界融合展示的技術(shù)，其廣泛運(yùn)用了人工智能、三維建模、實(shí)時(shí)跟蹤注冊(cè)、虛實(shí)融合、智能交互、傳感計(jì)算等多種技術(shù)手段，將計(jì)算機(jī)生成的文字、圖像、三維模型、音頻、視頻、動(dòng)畫等虛擬信息模擬仿真后，應(yīng)用到真實(shí)世界的展示中。增強(qiáng)現(xiàn)實(shí)技術(shù)同時(shí)考慮了真實(shí)世界與虛擬信息的相互關(guān)系，虛實(shí)信息互為補(bǔ)充，從而實(shí)現(xiàn)對(duì)真實(shí)世界的增強(qiáng)。

實(shí)時(shí)跟蹤移動(dòng)終端6DoF(6Degree of Freedom，6自由度)位姿是包括無標(biāo)記(Markerless)增強(qiáng)現(xiàn)實(shí)技術(shù)(Augmented Reality，AR)在內(nèi)的諸多技術(shù)的核心基礎(chǔ)。

當(dāng)前在移動(dòng)終端實(shí)現(xiàn)位姿跟蹤的過程如下：通過移動(dòng)終端的攝像頭采集場(chǎng)景圖像、通過IMU(Inertial Measurement Unit,慣性測(cè)量單元)采集IMU數(shù)據(jù)(包括移動(dòng)終端的直線加速度和角加速度)，融合場(chǎng)景圖像的數(shù)據(jù)和IMU數(shù)據(jù)解算出移動(dòng)終端的6DoF位姿，建立世界坐標(biāo)系，實(shí)現(xiàn)移動(dòng)終端的運(yùn)動(dòng)跟蹤，渲染虛擬元素到世界坐標(biāo)系中，通過將渲染虛擬元素的攝像機(jī)與移動(dòng)終端的攝像頭對(duì)齊即可實(shí)現(xiàn)虛擬融合的增強(qiáng)現(xiàn)實(shí)功能。

其中，實(shí)現(xiàn)設(shè)備位姿跟蹤的過程也稱為SLAM(Simultaneous Localization AndMapping，即時(shí)定位與建圖)。由于SLAM算法對(duì)計(jì)算資源要求嚴(yán)格，現(xiàn)有移動(dòng)終端位姿跟蹤實(shí)現(xiàn)方案均為APP(Application，應(yīng)用程序)方式，圖像與IMU數(shù)據(jù)采集、前端里程計(jì)的實(shí)現(xiàn)和優(yōu)化計(jì)算等操作均在移動(dòng)終端本地完成，未安裝APP的用戶無法使用基于SLAM算法的相關(guān)功能(如AR功能)，極大限制了相關(guān)功能的適用范圍和分享傳播。

目前常見的瀏覽器有標(biāo)記(Marker)增強(qiáng)現(xiàn)實(shí)實(shí)現(xiàn)方案是采用圖像作為識(shí)別物的識(shí)別方案，即使用類二維碼的黑邊圖作為識(shí)別Marker或者經(jīng)過訓(xùn)練的自然圖像。這種方案雖然能在移動(dòng)瀏覽器端以較高幀率實(shí)時(shí)運(yùn)行，但由于需要事先制作跟蹤圖像，因此不易于推廣，也無法實(shí)現(xiàn)6DoF設(shè)備位姿跟蹤。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例提供一種移動(dòng)終端的位姿跟蹤方法、AR渲染方法、設(shè)備及存儲(chǔ)介質(zhì)，以達(dá)到終端用戶通過web瀏覽器實(shí)現(xiàn)位姿跟蹤及AR渲染的目的。

第一方面，本申請(qǐng)實(shí)施例提供一種移動(dòng)終端的位姿跟蹤方法，應(yīng)用于移動(dòng)終端的瀏覽器，包括：

運(yùn)行在所述移動(dòng)終端CPU上的瀏覽器主線程調(diào)用所述移動(dòng)終端的視覺傳感器按照第一預(yù)定頻率采集圖像數(shù)據(jù)；

所述瀏覽器主線程將采集到的圖像數(shù)據(jù)轉(zhuǎn)換為灰度圖；

所述瀏覽器主線程調(diào)用運(yùn)行在所述移動(dòng)終端CPU上的web worker實(shí)時(shí)構(gòu)建每幀灰度圖的圖像金字塔；

對(duì)于每幀灰度圖，所述web worker利用運(yùn)行在所述移動(dòng)終端CPU上的web GPU或web GL模塊對(duì)每幀灰度圖的圖像金字塔進(jìn)行實(shí)時(shí)處理，所述web GPU或web GL模塊用于調(diào)用所述移動(dòng)終端的GPU進(jìn)行并行數(shù)據(jù)處理；