[發明專利]一種基于即時計算與動態追蹤的視覺體驗增強方法

有效

• 申請號: 201410163045.0
• 申請日: 2014-04-22
• 公開（公告）號: CN103955499B
• 公開（公告）日: 2018-02-02
• 發明（設計）人: 王皓悅;夏天晗;張恿;李鯤;楊明
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06K9/40;G06K9/46;G06K9/64
• 代理公司: 北京科迪生專利代理有限責任公司11251
• 代理人: 楊學明,盧紀

1.一種基于即時計算與動態追蹤的視覺體驗增強方法，其特征在于：使用多場景適應性匹配方法，和普適性圖像主體的跟蹤方法，通過在移動設備攝像頭視野內將靜態信息替換為動態信息，實現動態信息融入現實的目的，從而達到視覺體驗增強的效果；

所述多場景適應性匹配方法包括如下步驟：

步驟2.1)使用Canny算子，通過對圖像去噪聲，亮度梯度檢測，邊緣跟蹤，來實現邊緣的提取；

步驟2.2)計算每個圖像的HU不變矩，然后檢查不同輪廓的HU不變矩的差異來比較相似性，實現輪廓匹配，比較公式是：

I(A,B)=Σi=17|1miA-1miB|,]]>

其中，A，B分別指代兩個待比較圖像，

其中，是A和B的HU矩，sign是求符號函數；

步驟2.3)使用離散傅里葉變換，傅里葉乘法，利用卷積和乘法之間的對偶性，借助傅里葉變換來實現模式匹配，公式是：

R(x，y)＝∑_x′，y′[(x′，y′)-(x+x′，y+y′)]²，其中，R(x，y)是像素點(x，y)的匹配度，(x'，y')是待匹配圖像的像素坐標，(x，y)是搜索圖像的像素坐標；

步驟2.4)對圖像的SIFT特征進行檢測并存儲，需要的時候取SIFT特征進行比較，對匹配結果做最后的確定，或根據之前的搜索結果匹配度情況和服務器端效率動態確定是否進行SIFT特征檢測和比較；

所述的普適性的圖像主體跟蹤方法包括如下步驟：

步驟3.1)獲取攝像頭每一幀的數據，對幀數據進行邊緣提取，再對提取結果做Laplace變換過濾掉雜碎的輪廓，之后計算每個輪廓圍成的面積，面積最大部分的即為所要找的主體；之后利用得到的過濾結果，對邊緣進行分析鏈接得到完整的輪廓，再分別計算輪廓面積，對面積最大的輪廓求外接矩形，這個矩形就是主體位置和大小的描述；

步驟3.2)利用步驟3.1)中獲取的每一幀的主體位置和大小，實時更新動態信息播放的位置，以及動態信息的覆蓋面積，讓動態信息完全的替代原本的靜態信息，讓動態信息融入現實，達到動態播放的效果；

步驟3.3)檢測主體識別結果的變化幅度，進行動態信息元件移動修正，避免手持移動設備小幅抖動所造成的動態信息的不必要移動和識別主體算法產生的異常結果所造成的大幅度偏差。

2.一種基于即時計算與動態追蹤的視覺體驗增強方法，其特征在于：

步驟1，構建數據庫：

1)用戶使用移動設備拍攝一段視頻；

2)用戶使用移動設備拍攝一張與1)中視頻相關的照片；

3)移動設備上的客戶端在后臺將視頻和照片打包發送到服務器；

4)服務器收到視頻和照片包后，將視頻和照片建立映射；

5)服務器將映射信息寫入數據庫中；

步驟2，用戶使用“視覺體驗增強”：

(1)用戶打開客戶端，將攝像頭對準想要進行視覺體驗增強的圖片；

(2)客戶端后臺將攝像頭的幀數據上傳至服務器；

(3)服務器通過多場景適應性匹配技術檢索數據庫，得到圖片匹配的動態信息；所述多場景適應性匹配技術包括圖像邊緣提取——輪廓匹配——模式匹配——SIFT特征檢測與比較；

(4)服務器將動態信息返回給客戶端；

(5)客戶端收到動態信息后，通過普適性圖像主體跟蹤技術識別當前攝像頭場景中的圖像主體，將動態信息覆蓋在主體上，鎖定主體，進行跟蹤播放；

(6)無論移動設備晃動，拉遠或拉近，動態信息總可以保持對圖像主體的完整、正確的覆蓋，在用戶看來主體已被替換為動態信息，從而實現視覺體驗增強的效果；

所述的普適性的圖像主體跟蹤的方法包括如下步驟：

步驟3.1)獲取攝像頭每一幀的數據，對幀數據進行邊緣提取，再對提取結果做Laplace變換過濾掉雜碎的輪廓，之后計算每個輪廓圍成的面積，面積最大部分的即為所要找的主體；之后利用得到的過濾結果，對邊緣進行分析鏈接得到完整的輪廓，再分別計算輪廓面積，對面積最大的輪廓求外接矩形，這個矩形就是主體位置和大小的描述；

步驟3.2)利用步驟3.1)中獲取的每一幀的主體位置和大小，實時更新動態信息播放的位置，以及動態信息的覆蓋面積，讓動態信息完全的替代原本的靜態信息，讓動態信息融入現實，達到動態播放的效果；

步驟3.3)檢測主體識別結果的變化幅度，進行動態信息元件移動修正，避免手持移動設備小幅抖動所造成的動態信息的不必要移動和識別主體算法產生的異常結果所造成的大幅度偏差；

步驟3，用戶成就系統：

(1)用戶上傳視頻和圖片；

(2)服務器端確認用戶上傳的視頻和圖片的有效性；

(3)若有效，則給予相應用戶一定的獎勵成就；

通過用戶成就系統激勵用戶的上傳，從而豐富數據庫。