[發(fā)明專利]基于圖像特征匹配的增強現(xiàn)實的系統(tǒng)和方法

在審

• 申請?zhí)枺?/td>: 201410275712.4
• 申請日: 2014-06-19
• 公開（公告）號: CN104050475A
• 公開（公告）日: 2014-09-17
• 發(fā)明（設(shè)計）人: 樊曉東;孟俊華;唐文平;劉家賓;樊曉莉;惠艷萍;馮欣;馮賓;田明
• 申請（專利權(quán)）人: 樊曉東
• 主分類號: G06K9/46
• 分類號: G06K9/46;G06T7/00
• 代理公司: 南昌佳誠專利事務(wù)所 36117
• 代理人: 閔蓉

1.一種基于圖像特征匹配的增強現(xiàn)實的系統(tǒng)，其特征在于包括：

圖像捕獲單元，用于捕獲目標物的目標圖像；

特征存儲單元，用于存儲多個特征文件的多尺度特征；

模型存儲單元，用于存儲至少一個的與特征文件對應(yīng)的模型；

第一特征提取單元，用于提取目標圖像的自然特征；

第一特征匹配單元，用于分別匹配多個特征文件的特征與目標圖像的特征，并查找與目標圖像最優(yōu)匹配的特征文件；

第二特征提取單元，用于進一步提取目標圖像的自然特征；

第二特征匹配單元，用于匹配最優(yōu)特征文件的特征與目標圖像的特征，并剔除所述第二特征匹配單元的誤匹配；

位置標定單元，用于根據(jù)目標圖像的特征匹配結(jié)果計算目標圖像中目標平面與相機平面的單應(yīng)性矩陣，再利用相機標定算法計算相機內(nèi)參數(shù)，由單應(yīng)性矩陣以及相機內(nèi)參數(shù)，計算出目標物相對相機平面的位移與旋轉(zhuǎn)；

圖像處理單元，用于根據(jù)目標物相對相機平面的旋轉(zhuǎn)參數(shù)確定對應(yīng)模型的對應(yīng)視角的模型；

圖像顯示單元，用于根據(jù)目標物相對相機平面的平移參數(shù)在特定顯示區(qū)域顯示該視角；

特征跟蹤單元，用于跟蹤目標圖像的特征并將該圖像特征的狀態(tài)反饋至第二特征匹配單元。

2.根據(jù)權(quán)利要求1所述的增強現(xiàn)實的系統(tǒng)，其特征在于，所述特征跟蹤單元根據(jù)光流法跟蹤目標圖像的特征。

3.根據(jù)權(quán)利要求1所述的增強現(xiàn)實的系統(tǒng)，其特征在于，所述特征跟蹤單元跟蹤目標圖像特征的過程中，進行特征匹配并剔除誤匹配，同時估計下一幀目標圖像特征的位置。

4.根據(jù)權(quán)利要求1所述的增強現(xiàn)實的系統(tǒng)，其特征在于，所述模型為三維模型、三維動畫、二維圖片或視頻。

5.一種基于圖像特征匹配的增強現(xiàn)實的方法，其特征在于，包括以下步驟：

捕獲目標物的目標圖像；

提取目標圖像的自然特征；

比較已存儲的多個特征文件的特征與該目標圖像的特征，查找與目標圖像最優(yōu)匹配的特征文件；

進一步提取目標圖像的自然特征；

匹配最優(yōu)匹配的特征文件的特征與該目標圖像的特征，剔除誤匹配；

根據(jù)特征匹配結(jié)果計算目標圖像中目標與相機平面的單應(yīng)性矩陣，再利用相機標定算法計算相機內(nèi)參數(shù)，由單應(yīng)性矩陣以及相機內(nèi)參數(shù)，計算出目標物相對相機平面的位移與旋轉(zhuǎn)；

根據(jù)目標物相對相機平面的旋轉(zhuǎn)參數(shù)確定在最優(yōu)特征文件對應(yīng)的模型的對應(yīng)視角；

根據(jù)目標物相對相機平面的位移參數(shù)在特定顯示區(qū)域顯示模型該視角；

跟蹤上述進一步提取的目標圖像的特征，跟蹤成功則匹配最優(yōu)匹配的特征文件的特征與特征跟蹤的結(jié)果的預(yù)測特征，繼續(xù)計算目標物的位移與旋轉(zhuǎn)參數(shù)；跟蹤失敗則反饋捕獲目標物的目標圖像。

6.根據(jù)權(quán)利要求5所述的增強現(xiàn)實的方法，其特征在于，根據(jù)目標圖像的跟蹤結(jié)果，不斷更新目標物的位置，使得模型隨目標物同步運動。

7.根據(jù)權(quán)利要求5或6所述的增強現(xiàn)實的方法，其特征在于，由多個預(yù)存圖像提取特征文件。

8.根據(jù)權(quán)利要求5或6所述的增強現(xiàn)實的方法，其特征在于，捕獲目標物的目標圖像后降噪、增強處理。