[發(fā)明專利]基于圖像特征匹配的增強現(xiàn)實的系統(tǒng)和方法

在審

• 申請?zhí)枺?/td>: 201410275712.4
• 申請日: 2014-06-19
• 公開（公告）號: CN104050475A
• 公開（公告）日: 2014-09-17
• 發(fā)明（設(shè)計）人: 樊曉東;孟俊華;唐文平;劉家賓;樊曉莉;惠艷萍;馮欣;馮賓;田明
• 申請（專利權(quán)）人: 樊曉東
• 主分類號: G06K9/46
• 分類號: G06K9/46;G06T7/00
• 代理公司: 南昌佳誠專利事務(wù)所 36117
• 代理人: 閔蓉

技術(shù)領(lǐng)域

本發(fā)明涉及增強現(xiàn)實的系統(tǒng)和方法，尤其涉及一種基于圖像特征匹配的增強現(xiàn)實的系統(tǒng)和方法。

背景技術(shù)

增強現(xiàn)實借助計算機圖形技術(shù)和可視化技術(shù)生成現(xiàn)實環(huán)境中不存在的虛擬對象，并通過圖像識別定位技術(shù)將虛擬對象準確“放置”在真實環(huán)境中，借助顯示設(shè)備將虛擬對象與真實環(huán)境融為一體，并呈現(xiàn)給使用者一個真實的視覺感受。增強現(xiàn)實技術(shù)利用標識物建立虛擬三維空間，標識物在虛擬空間與現(xiàn)實空間之間起到連接的作用。根據(jù)標識物類別目前分為有標識(Marker)增強現(xiàn)實技術(shù)和無標識(Markless)增強現(xiàn)實技術(shù)兩類。相比于有標識的增強現(xiàn)實技術(shù)，無標識的增強現(xiàn)實技術(shù)利用識別模板圖像本身的內(nèi)容進行識別，這樣可以避免人為的標記對真實感的破壞，并且識別準確性會更好。缺點則是，目標的跟蹤與識別的技術(shù)變得復(fù)雜，穩(wěn)定性降低。在無標識增強現(xiàn)實技術(shù)中，利用圖像的隨機厥特征(RandomFern)進行圖像識別與姿態(tài)估計，可以得到較好的跟蹤與識別效果。然而，由于隨機厥特征計算復(fù)雜，特征數(shù)據(jù)量很大，在多個模板的無標識的AR應(yīng)用中具有很大的局限性，尤其是當標識數(shù)量達到幾十甚至上百數(shù)目時候。圖像的ORB特征相較于隨機厥特征，在圖像特征表示方面具有同樣的理想效果，ORB特征具有尺度不變性與旋轉(zhuǎn)不變性，并且比隨機厥特征計算簡單，數(shù)據(jù)量小。然而，圖像的ORB特征計算具有一定的隨機性，就是說，對相同圖像計算ORB特征，得到的特征在圖像上位置分布具有隨機性，這種差異使得ORB特征在圖像識別方面穩(wěn)定性較差。201310208905.3涉及利用圖像捕獲和識別技術(shù)實現(xiàn)增強現(xiàn)實的方法，其公開了可行的圖像捕獲與匹配方案，但是直接進行特征匹配，數(shù)據(jù)處理量大，系統(tǒng)響應(yīng)慢。

發(fā)明內(nèi)容

本發(fā)明要解決的技術(shù)問題在于提出一種基于圖像特征匹配的增強現(xiàn)實的系統(tǒng)和方法，有效地解決大量圖像標識識別和疊加三維模型的穩(wěn)定性等問題。

本發(fā)明的技術(shù)方案是這樣實現(xiàn)的：

一種基于圖像特征匹配的增強現(xiàn)實的系統(tǒng)，其特征在于包括：

圖像捕獲單元，用于捕獲目標物的目標圖像；

特征存儲單元，用于存儲多個特征文件的多尺度特征；

模型存儲單元，用于存儲至少一個的與特征文件對應(yīng)的模型；

第一特征提取單元，用于提取目標圖像的自然特征；

第一特征匹配單元，用于分別匹配多個特征文件的特征與目標圖像的特征，并查找與目標圖像最優(yōu)匹配的特征文件；

第二特征提取單元，用于進一步提取目標圖像的自然特征；

第二特征匹配單元，用于匹配最優(yōu)特征文件的特征與目標圖像的特征，并剔除所述第二特征匹配單元的誤匹配；

位置標定單元，用于根據(jù)目標圖像的特征匹配結(jié)果計算目標圖像中目標平面與相機平面的單應(yīng)性矩陣，再利用相機標定算法計算相機內(nèi)參數(shù)，由單應(yīng)性矩陣以及相機內(nèi)參數(shù)，計算出目標物相對相機平面的位移與旋轉(zhuǎn)；

圖像處理單元，用于根據(jù)目標物相對相機平面的旋轉(zhuǎn)參數(shù)確定對應(yīng)模型的對應(yīng)視角的模型；

圖像顯示單元，用于根據(jù)目標物相對相機平面的平移參數(shù)在特定顯示區(qū)域顯示該視角；

特征跟蹤單元，用于跟蹤目標圖像的特征并將該圖像特征的狀態(tài)反饋至第二特征匹配單元；

在本發(fā)明增強現(xiàn)實的系統(tǒng)中，所述特征跟蹤單元根據(jù)光流法跟蹤目標圖像的特征；

在本發(fā)明增強現(xiàn)實的系統(tǒng)中，所述模型為三維模型、三維動畫、二維圖片或視頻；

在本發(fā)明增強現(xiàn)實的系統(tǒng)中，所述目標物為載有圖像數(shù)據(jù)的二維模板。

一種基于圖像特征匹配的增強現(xiàn)實的方法，其特征在于，包括以下步驟：

捕獲目標物的目標圖像；

提取目標圖像的自然特征；

比較已存儲的多個特征文件的特征與該目標圖像的特征，查找與目標圖像最優(yōu)匹配的特征文件；

進一步提取目標圖像的自然特征；

匹配最優(yōu)匹配的特征文件的特征與該目標圖像的特征，剔除誤匹配；

根據(jù)特征匹配結(jié)果計算目標圖像中目標與相機平面的單應(yīng)性矩陣，再利用相機標定算法計算相機內(nèi)參數(shù)，由單應(yīng)性矩陣以及相機內(nèi)參數(shù)，計算出目標物相對相機平面的位移與旋轉(zhuǎn)；

根據(jù)目標物相對相機平面的旋轉(zhuǎn)參數(shù)確定在最優(yōu)特征文件對應(yīng)的模型的對應(yīng)視角；

根據(jù)目標物相對相機平面的位移參數(shù)在特定顯示區(qū)域顯示模型該視角；

跟蹤上述進一步提取的目標圖像的特征，跟蹤成功后，則對最優(yōu)匹配的特征文件的特征與特征跟蹤結(jié)果的特征進行匹配，繼續(xù)計算目標物的位移與旋轉(zhuǎn)參數(shù)；跟蹤失敗則反饋捕獲目標物的目標圖像。