[發(fā)明專利]一種高精度增強(qiáng)現(xiàn)實方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202011058831.6
• 申請日: 2020-09-30
• 公開（公告）號: CN112200917A
• 公開（公告）日: 2021-01-08
• 發(fā)明（設(shè)計）人: 冀勇
• 申請（專利權(quán)）人: 北京零境科技有限公司
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06K9/46;G06K9/62;G06T7/246;G06T7/73;G06F3/01
• 代理公司: 北京奇眸智達(dá)知識產(chǎn)權(quán)代理有限公司 11861
• 代理人: 馬廷昭

1.一種高精度增強(qiáng)現(xiàn)實方法，其特征在于，包括以下步驟：

獲取用戶多個視點的真實世界圖像，在每一所述真實世界圖像中針對同一目標(biāo)點提取關(guān)鍵點信息，根據(jù)所有的所述關(guān)鍵點信息提取特征點集合信息和相似性度量；

對所述特征點集合信息執(zhí)行匹配性分析，排除特征點的增刪變化干擾，再利用匹配性分析后的特征點集合信息計算不同視點之間的相對位置信息；

獲取所述視點的運動變化信息和運動跟蹤信息，結(jié)合所述相對位置信息，得到基于視覺的真實世界采樣點的視覺定位信息和運動信息，計算不同視點之間的相關(guān)性信息；

通過所述視覺定位信息和所述運動信息，結(jié)合視覺信息的可信度分析，對慣性信息進(jìn)行修正，再根據(jù)所述視覺定位信息和所述運動信息在運動過程中時空敏感性的特點，實現(xiàn)慣性輔助定位。

2.根據(jù)權(quán)利要求1所述的高精度增強(qiáng)現(xiàn)實方法，其特征在于，所述特征點集合信息通過ORB算法特征提取獲得，所述ORB算法包括特征點提取和特征點描述，所述特征點提取用于獲取所述特征點集合信息，所述特征點描述用于獲取所述相似性度量。

3.根據(jù)權(quán)利要求1所述的高精度增強(qiáng)現(xiàn)實方法，其特征在于，所述匹配性分析為結(jié)合特征點對之間的匹配度分析，排除特征點的增刪變化干擾，恢復(fù)匹配上的特征點的深度，并同時得到特征點的三維空間位置，此坐標(biāo)成為世界坐標(biāo)系，它以初始化時的相機(jī)光心為坐標(biāo)系原點。

4.根據(jù)權(quán)利要求1所述的高精度增強(qiáng)現(xiàn)實方法，其特征在于，所述可信度分析之前還包括：

采用平面場景的單應(yīng)性矩陣H和用于非平面場景的基礎(chǔ)矩陣F，然后通過一個評分規(guī)則來選擇合適的模型，恢復(fù)相機(jī)的旋轉(zhuǎn)矩陣R和平移向量t；

在初始化的基礎(chǔ)上開始進(jìn)行每一幀的跟蹤，在當(dāng)前幀F(xiàn)c中提取ORB特征點，與參考幀F(xiàn)r進(jìn)行匹配；

若匹配點對數(shù)小于預(yù)設(shè)閾值，則重置參考幀，若匹配點對數(shù)大于預(yù)設(shè)閾值，則判定為找到對應(yīng)點，執(zhí)行初始化操作。

5.根據(jù)權(quán)利要求4所述的高精度增強(qiáng)現(xiàn)實方法，其特征在于，所述執(zhí)行初始化操作中，包括：

若場景是一個平面或者視差較小的時候，采用單應(yīng)性矩陣H，并使用基礎(chǔ)矩陣F恢復(fù)運動；

若場景是一個非平面或視差大的場景，調(diào)用FindHomography方法，計算單應(yīng)性矩陣H，采用歸一化的直接線性變換。

6.根據(jù)權(quán)利要求1所述的高精度增強(qiáng)現(xiàn)實方法，其特征在于，所述獲取運動跟蹤信息的步驟包括：

在當(dāng)前幀和地圖之間尋找所有當(dāng)前幀和特征點的對應(yīng)關(guān)系，以所述對應(yīng)關(guān)系來優(yōu)化當(dāng)前幀的位姿，實現(xiàn)對每一幀圖像進(jìn)行跟蹤計算，得到所述運動跟蹤信息。

7.根據(jù)權(quán)利要求6所述的高精度增強(qiáng)現(xiàn)實方法，其特征在于，所述獲取運動跟蹤信息的步驟還包括：

將新的關(guān)鍵幀Ki作為新的節(jié)點Ki加入Covibility Graph，并且更新與關(guān)鍵幀節(jié)點相連接的邊，同時更新關(guān)鍵幀Ki的生長樹，并計算表示關(guān)鍵幀的詞袋BOW；

創(chuàng)建該點云的前三幀測試通過約束，用于保存地圖點。

8.根據(jù)權(quán)利要求6所述的高精度增強(qiáng)現(xiàn)實方法，其特征在于，所述獲取運動跟蹤信息的步驟還包括：

若在圖像中無人工標(biāo)志點，則通過運動過程中的兩幀圖像進(jìn)行特征點匹配來計算相機(jī)的位姿移動；

若在圖像中含有人工標(biāo)志點，則通過人工標(biāo)志點的先驗信息來計算當(dāng)前幀相機(jī)的位姿。

9.根據(jù)權(quán)利要求8所述的高精度增強(qiáng)現(xiàn)實方法，其特征在于，所述獲取運動跟蹤信息的步驟還包括：

對圖像進(jìn)行灰度化和閾值化，再通過單應(yīng)矩陣來求解相機(jī)坐標(biāo)系下的標(biāo)志點位姿。

10.一種高精度增強(qiáng)現(xiàn)實系統(tǒng)，其特征在于，采用權(quán)利要求1-9任意一項所述的方法，包括：

特征提取模塊，用于獲取用戶多個視點的真實世界圖像，在每一所述真實世界圖像中針對同一目標(biāo)點提取關(guān)鍵點信息，根據(jù)所有的所述關(guān)鍵點信息提取特征點集合信息和相似性度量；

匹配性分析模塊，用于對所述特征點集合信息執(zhí)行匹配性分析，排除特征點的增刪變化干擾，再利用匹配性分析后的特征點集合信息計算不同視點之間的相對位置信息；

運動計算模塊，用于獲取所述視點的運動變化信息和運動跟蹤信息，結(jié)合所述相對位置信息，得到基于視覺的真實世界采樣點的視覺定位信息和運動信息，計算不同視點之間的相關(guān)性信息；

輔助定位模塊，用于通過所述視覺定位信息和所述運動信息，結(jié)合視覺信息的可信度分析，對慣性信息進(jìn)行修正，再根據(jù)所述視覺定位信息和所述運動信息在運動過程中時空敏感性的特點，實現(xiàn)慣性輔助定位。