[發明專利]一種基于即時計算與動態追蹤的視覺體驗增強方法

有效

• 申請號: 201410163045.0
• 申請日: 2014-04-22
• 公開（公告）號: CN103955499B
• 公開（公告）日: 2018-02-02
• 發明（設計）人: 王皓悅;夏天晗;張恿;李鯤;楊明
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06K9/40;G06K9/46;G06K9/64
• 代理公司: 北京科迪生專利代理有限責任公司11251
• 代理人: 楊學明,盧紀

技術領域

本發明涉及圖片處理領域，涉及視覺體驗領域，涉及現實增強領域。

背景技術

隨著計算機和信息技術的不斷發展，計算機的應用形式與應用范圍發生著巨大變革。伴隨著計算機的功能拓展，移動終端的硬件升級，以及現實增強的概念與技術的普及，我們可以預見在不久的將來，視覺體驗增強將是一個熱門的研究方向。而近年來便攜式移動終端硬件的升級，使其能夠承載很大的計算量，非常適合作為視覺體驗增強的實現載體。這讓平面媒體上的靜態圖像動起來稱為可能。

當今社會的普遍資料獲取方式還是紙質資料，雖然電子資料的普遍化與網絡化帶來了信息的大量共享，卻依舊存在著攜帶不便、分享不便、查看繁瑣等問題。而對于大量的文字、圖片類資料，很多時候我們并不能夠獲取完整的信息。通過圖像處理技術實現動態的視覺體驗增強，就可以很好的解決這個問題。

發明內容

本發明的技術解決問題是：通過多場景適應性匹技術和普適性主體鎖定跟蹤技術，在移動終端上，使動態信息替換靜態信息，達到“融入現實”的目的，從而實現視覺體驗增強的效果。

本發明技術解決方案：一種基于即時計算與動態追蹤的視覺體驗增強方法，其特征在于使用多場景適應性匹配方法，和普適性圖像主體的跟蹤方法，通過在移動設備攝像頭視野內將靜態信息替換為動態信息，實現動態信息融入現實的目的，從而達到視覺體驗增強的效果。

(一)通過多場景適應性匹配和普適性主體鎖定跟蹤實現移動設備上視覺體驗增強效果。

移動設備上視覺體驗增強效果的實現是基于這樣一個思路：通過移動設備的攝像頭將當前實景展示在設備屏幕上，同時軟件后臺將當前的攝像頭幀數據上傳至服務器，服務器通過多場景適應性匹配來檢索數據庫，得到當前幀數據匹配的動態信息(一般為圖片匹配的視頻)并回傳至客戶端，客戶端收到動態信息后，鎖定當前攝像頭范圍內的靜態圖片進行跟蹤播放動態信息，簡單可以描述為它通過對圖像的識別，反饋圖片對應的動態信息，在移動端播放，同時鎖定圖像，跟蹤主體的位置，使動態信息正確的覆蓋圖像，達到動態信息替換靜態信息的目的，實現動態的視覺體驗。

(二)圖像的多場景適應性匹配

在數據庫中我們將圖片與其對應的動態信息綁定，以圖片來索引動態信息進行檢索，通過圖像識別，搜到圖片對應的動態信息。但是由于我們目前能接觸到的圖像檢索技術仍舊非常的粗淺，不論是Google還是百度等公司的常見圖像搜索都是用的較為簡單的算法，只能實現很相似的圖之間的匹配。但我們所需要的算法是能夠實現多場景適應性匹配。所以我們基于OpenCV庫編寫了符合我們需求的，可以實現多場景適應性匹配，效率可以接受的的圖像模糊匹配算法。多場景的適應性匹配算法主要步驟為：圖像邊緣提取——輪廓匹配——模式匹配——SIFT特征檢測與比較。具體的實現方法與細節如下(可參考圖1)：

1)圖像邊緣提取

由于我們的目的是實現模糊匹配，所以有必要過濾掉圖片中不相關的細節，因此我們需要提取圖像邊緣，消除光線對物體顏色的影響，以及大背景對模糊匹配的影響。

這一步的實現主要使用了Canny算子，通過對圖像去噪聲，亮度梯度檢測，邊緣跟蹤，來實現邊緣的提取。

我們先獲取無附加響應的最優檢測，目的是減少噪聲響應。再檢測邊緣位置和實際邊緣之間距離最小的正確定位，目的是確定邊緣檢測的正確性。最后減少單邊緣的多重響應而得到單響應，目的是限制單個邊緣點對于亮度變化的定位。通過這個流程來實現邊緣的提取。

2)輪廓匹配

輪廓匹配是最基礎的匹配，由于其效率很高，因此可以用來篩選掉完全不相關的圖片，大幅度減小搜索范圍，提高整體的算法效率。

主要實現方法是比較不同輪廓的HU不變矩，我們首先計算每個圖像的HU不變矩，之后通過檢查不同輪廓的HU不變矩的差異來比較相似性。

比較公式是I(A，B)＝重要的比較公式是

其中，A，B分別指代兩個待比較圖像，

其中，是A和B的HU矩，sign是求符號函數；

其中，A，B分別指代兩個待比較圖像，通過逐一的比對，得到HU不變矩差距在一定閾值范圍內的圖像，為進一步的確定搜索范圍。

3)模式匹配

模式匹配是核心，用來檢索最終的匹配圖片。主要是以要搜索的圖片為模板，在輪廓匹配確定的范圍內，對模板進行匹配，獲取最相似的結果。

這一步主要使用了離散傅里葉變換，傅里葉乘法。核心是通過利用卷積和乘法之間的對偶性，借助傅里葉變換來實現。