[發(fā)明專利]終端的位姿跟蹤方法、AR渲染方法、設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110555745.4
• 申請(qǐng)日: 2021-05-21
• 公開（公告）號(hào): CN113298692A
• 公開（公告）日: 2021-08-24
• 發(fā)明（設(shè)計(jì)）人: 汪祥春
• 申請(qǐng)（專利權(quán)）人: 北京索為云網(wǎng)科技有限公司
• 主分類號(hào): G06T1/20
• 分類號(hào): G06T1/20;G06T7/246
• 代理公司: 北京鍾維聯(lián)合知識(shí)產(chǎn)權(quán)代理有限公司 11579
• 代理人: 安娜

1.一種終端的位姿跟蹤方法，應(yīng)用于移動(dòng)終端的瀏覽器，其特征在于，包括：

運(yùn)行在所述移動(dòng)終端CPU上的瀏覽器主線程調(diào)用所述移動(dòng)終端的視覺傳感器按照第一預(yù)定頻率采集圖像數(shù)據(jù)；

所述瀏覽器主線程將采集到的圖像數(shù)據(jù)轉(zhuǎn)換為灰度圖；

所述瀏覽器主線程調(diào)用運(yùn)行在所述移動(dòng)終端CPU上的web worker實(shí)時(shí)構(gòu)建每幀灰度圖的圖像金字塔；

對(duì)于每幀灰度圖，所述web worker利用運(yùn)行在所述移動(dòng)終端CPU上的web GPU或web GL模塊對(duì)每幀灰度圖的圖像金字塔進(jìn)行實(shí)時(shí)處理，所述web GPU或web GL模塊用于調(diào)用所述移動(dòng)終端的GPU進(jìn)行并行數(shù)據(jù)處理；

在位姿跟蹤初始化階段，所述瀏覽器主線程利用當(dāng)前實(shí)時(shí)處理結(jié)果進(jìn)行位姿跟蹤初始化，輸出初始化結(jié)果；

位姿跟蹤初始化完成后，所述瀏覽器主線程利用當(dāng)前實(shí)時(shí)處理結(jié)果確定所述移動(dòng)終端的當(dāng)前位姿，輸出當(dāng)前位姿數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：所述瀏覽器主線程調(diào)用所述移動(dòng)終端的運(yùn)動(dòng)傳感器按照第二預(yù)定頻率采集運(yùn)動(dòng)數(shù)據(jù)；

所述瀏覽器主線程利用當(dāng)前實(shí)時(shí)處理結(jié)果進(jìn)行位姿跟蹤初始化，包括：所述瀏覽器主線程利用當(dāng)前實(shí)時(shí)處理結(jié)果和指定運(yùn)動(dòng)數(shù)據(jù)進(jìn)行位姿跟蹤初始化，所述指定運(yùn)動(dòng)數(shù)據(jù)包括當(dāng)前幀灰度圖與前一幀灰度圖之間采集到的運(yùn)動(dòng)數(shù)據(jù)；

所述瀏覽器主線程利用當(dāng)前實(shí)時(shí)處理結(jié)果確定所述移動(dòng)終端的當(dāng)前位姿，包括：所述瀏覽器主線程利用當(dāng)前實(shí)時(shí)處理結(jié)果和指定運(yùn)動(dòng)數(shù)據(jù)確定所述移動(dòng)終端的當(dāng)前位姿。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述web worker利用運(yùn)行在所述移動(dòng)終端CPU上的web GPU或web GL模塊對(duì)每幀灰度圖的圖像金字塔進(jìn)行實(shí)時(shí)處理，包括：

所述瀏覽器主線程將所述圖像金字塔中的每層圖像分別發(fā)送給一個(gè)所述web worker；

每個(gè)所述web worker分別初始化一個(gè)所述web GPU或web GL模塊；

多個(gè)所述web GPU或web GL模塊并行運(yùn)行，分別使用GPU對(duì)各層圖像進(jìn)行實(shí)時(shí)處理。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述多個(gè)所述web GPU或web GL模塊并行運(yùn)行，分別使用GPU對(duì)各層圖像進(jìn)行實(shí)時(shí)處理，包括：多個(gè)所述web GPU或web GL模塊并行運(yùn)行，分別使用GPU提取各層圖像的ORB特征點(diǎn)提取以及BRIEF描述子；

所述web worker利用運(yùn)行在所述移動(dòng)終端CPU上的web GPU或web GL模塊對(duì)每幀灰度圖的圖像金字塔進(jìn)行實(shí)時(shí)處理，還包括：所述web worker對(duì)ORB特征分布進(jìn)行均衡化處理。

5.根據(jù)權(quán)利要求1～4任一項(xiàng)所述的方法，其特征在于，所述瀏覽器主線程利用當(dāng)前實(shí)時(shí)處理結(jié)果進(jìn)行位姿跟蹤初始化的過程包括：所述瀏覽器主線程利用當(dāng)前實(shí)時(shí)處理結(jié)果構(gòu)建三維點(diǎn)云地圖以及關(guān)鍵幀鏈表，利用所述三維點(diǎn)云地圖和所述關(guān)鍵幀鏈表構(gòu)建全局本征圖，利用所述關(guān)鍵幀列表構(gòu)建全局生成樹；

位姿跟蹤初始化完成后，所述方法還包括：所述瀏覽器主線程判斷是否需要全局優(yōu)化；若需要全局優(yōu)化，所述瀏覽器主線程利用當(dāng)前全局本征圖和當(dāng)前全局生成樹進(jìn)行全局優(yōu)化，并利用全局優(yōu)化結(jié)果更新所述三維點(diǎn)云地圖、所述關(guān)鍵幀列表和歷史位姿，利用更新后的所述三維點(diǎn)云地圖和所述關(guān)鍵幀鏈表更新所述全局本征圖，利用更新后的所述關(guān)鍵幀列表更新所述全局生成樹。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述利用全局優(yōu)化結(jié)果更新所述三維點(diǎn)云地圖、所述關(guān)鍵幀列表，包括：

利用全局優(yōu)化結(jié)果識(shí)別不符合特定約束的噪聲點(diǎn)，以及冗余關(guān)鍵幀；

從三維點(diǎn)云地圖中刪除識(shí)別出的噪聲點(diǎn)，并從關(guān)鍵幀鏈表中刪除識(shí)別出的冗余關(guān)鍵幀。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述判斷是否需要全局優(yōu)化，包括：

判斷距離上一次優(yōu)化的時(shí)間長(zhǎng)度是否超過預(yù)定時(shí)間長(zhǎng)度；

和/或，

判斷關(guān)鍵幀列表中是否有關(guān)鍵幀刪除。