[發(fā)明專利]一種基于即時(shí)計(jì)算與動(dòng)態(tài)追蹤的視覺(jué)體驗(yàn)增強(qiáng)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201410163045.0
• 申請(qǐng)日: 2014-04-22
• 公開(kāi)（公告）號(hào): CN103955499B
• 公開(kāi)（公告）日: 2018-02-02
• 發(fā)明（設(shè)計(jì)）人: 王皓悅;夏天晗;張恿;李鯤;楊明
• 申請(qǐng)（專利權(quán)）人: 北京航空航天大學(xué)
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30;G06K9/40;G06K9/46;G06K9/64
• 代理公司: 北京科迪生專利代理有限責(zé)任公司11251
• 代理人: 楊學(xué)明,盧紀(jì)

1.一種基于即時(shí)計(jì)算與動(dòng)態(tài)追蹤的視覺(jué)體驗(yàn)增強(qiáng)方法，其特征在于：使用多場(chǎng)景適應(yīng)性匹配方法，和普適性圖像主體的跟蹤方法，通過(guò)在移動(dòng)設(shè)備攝像頭視野內(nèi)將靜態(tài)信息替換為動(dòng)態(tài)信息，實(shí)現(xiàn)動(dòng)態(tài)信息融入現(xiàn)實(shí)的目的，從而達(dá)到視覺(jué)體驗(yàn)增強(qiáng)的效果；

所述多場(chǎng)景適應(yīng)性匹配方法包括如下步驟：

步驟2.1)使用Canny算子，通過(guò)對(duì)圖像去噪聲，亮度梯度檢測(cè)，邊緣跟蹤，來(lái)實(shí)現(xiàn)邊緣的提取；

步驟2.2)計(jì)算每個(gè)圖像的HU不變矩，然后檢查不同輪廓的HU不變矩的差異來(lái)比較相似性，實(shí)現(xiàn)輪廓匹配，比較公式是：

I(A,B)=Σi=17|1miA-1miB|,]]>

其中，A，B分別指代兩個(gè)待比較圖像，

其中，是A和B的HU矩，sign是求符號(hào)函數(shù)；

步驟2.3)使用離散傅里葉變換，傅里葉乘法，利用卷積和乘法之間的對(duì)偶性，借助傅里葉變換來(lái)實(shí)現(xiàn)模式匹配，公式是：

R(x，y)＝∑_x′，y′[(x′，y′)-(x+x′，y+y′)]²，其中，R(x，y)是像素點(diǎn)(x，y)的匹配度，(x'，y')是待匹配圖像的像素坐標(biāo)，(x，y)是搜索圖像的像素坐標(biāo)；

步驟2.4)對(duì)圖像的SIFT特征進(jìn)行檢測(cè)并存儲(chǔ)，需要的時(shí)候取SIFT特征進(jìn)行比較，對(duì)匹配結(jié)果做最后的確定，或根據(jù)之前的搜索結(jié)果匹配度情況和服務(wù)器端效率動(dòng)態(tài)確定是否進(jìn)行SIFT特征檢測(cè)和比較；

所述的普適性的圖像主體跟蹤方法包括如下步驟：

步驟3.1)獲取攝像頭每一幀的數(shù)據(jù)，對(duì)幀數(shù)據(jù)進(jìn)行邊緣提取，再對(duì)提取結(jié)果做Laplace變換過(guò)濾掉雜碎的輪廓，之后計(jì)算每個(gè)輪廓圍成的面積，面積最大部分的即為所要找的主體；之后利用得到的過(guò)濾結(jié)果，對(duì)邊緣進(jìn)行分析鏈接得到完整的輪廓，再分別計(jì)算輪廓面積，對(duì)面積最大的輪廓求外接矩形，這個(gè)矩形就是主體位置和大小的描述；

步驟3.2)利用步驟3.1)中獲取的每一幀的主體位置和大小，實(shí)時(shí)更新動(dòng)態(tài)信息播放的位置，以及動(dòng)態(tài)信息的覆蓋面積，讓動(dòng)態(tài)信息完全的替代原本的靜態(tài)信息，讓動(dòng)態(tài)信息融入現(xiàn)實(shí)，達(dá)到動(dòng)態(tài)播放的效果；

步驟3.3)檢測(cè)主體識(shí)別結(jié)果的變化幅度，進(jìn)行動(dòng)態(tài)信息元件移動(dòng)修正，避免手持移動(dòng)設(shè)備小幅抖動(dòng)所造成的動(dòng)態(tài)信息的不必要移動(dòng)和識(shí)別主體算法產(chǎn)生的異常結(jié)果所造成的大幅度偏差。

2.一種基于即時(shí)計(jì)算與動(dòng)態(tài)追蹤的視覺(jué)體驗(yàn)增強(qiáng)方法，其特征在于：

步驟1，構(gòu)建數(shù)據(jù)庫(kù)：

1)用戶使用移動(dòng)設(shè)備拍攝一段視頻；

2)用戶使用移動(dòng)設(shè)備拍攝一張與1)中視頻相關(guān)的照片；

3)移動(dòng)設(shè)備上的客戶端在后臺(tái)將視頻和照片打包發(fā)送到服務(wù)器；

4)服務(wù)器收到視頻和照片包后，將視頻和照片建立映射；

5)服務(wù)器將映射信息寫入數(shù)據(jù)庫(kù)中；

步驟2，用戶使用“視覺(jué)體驗(yàn)增強(qiáng)”：

(1)用戶打開(kāi)客戶端，將攝像頭對(duì)準(zhǔn)想要進(jìn)行視覺(jué)體驗(yàn)增強(qiáng)的圖片；

(2)客戶端后臺(tái)將攝像頭的幀數(shù)據(jù)上傳至服務(wù)器；

(3)服務(wù)器通過(guò)多場(chǎng)景適應(yīng)性匹配技術(shù)檢索數(shù)據(jù)庫(kù)，得到圖片匹配的動(dòng)態(tài)信息；所述多場(chǎng)景適應(yīng)性匹配技術(shù)包括圖像邊緣提取——輪廓匹配——模式匹配——SIFT特征檢測(cè)與比較；

(4)服務(wù)器將動(dòng)態(tài)信息返回給客戶端；

(5)客戶端收到動(dòng)態(tài)信息后，通過(guò)普適性圖像主體跟蹤技術(shù)識(shí)別當(dāng)前攝像頭場(chǎng)景中的圖像主體，將動(dòng)態(tài)信息覆蓋在主體上，鎖定主體，進(jìn)行跟蹤播放；

(6)無(wú)論移動(dòng)設(shè)備晃動(dòng)，拉遠(yuǎn)或拉近，動(dòng)態(tài)信息總可以保持對(duì)圖像主體的完整、正確的覆蓋，在用戶看來(lái)主體已被替換為動(dòng)態(tài)信息，從而實(shí)現(xiàn)視覺(jué)體驗(yàn)增強(qiáng)的效果；

所述的普適性的圖像主體跟蹤的方法包括如下步驟：

步驟3.1)獲取攝像頭每一幀的數(shù)據(jù)，對(duì)幀數(shù)據(jù)進(jìn)行邊緣提取，再對(duì)提取結(jié)果做Laplace變換過(guò)濾掉雜碎的輪廓，之后計(jì)算每個(gè)輪廓圍成的面積，面積最大部分的即為所要找的主體；之后利用得到的過(guò)濾結(jié)果，對(duì)邊緣進(jìn)行分析鏈接得到完整的輪廓，再分別計(jì)算輪廓面積，對(duì)面積最大的輪廓求外接矩形，這個(gè)矩形就是主體位置和大小的描述；

步驟3.2)利用步驟3.1)中獲取的每一幀的主體位置和大小，實(shí)時(shí)更新動(dòng)態(tài)信息播放的位置，以及動(dòng)態(tài)信息的覆蓋面積，讓動(dòng)態(tài)信息完全的替代原本的靜態(tài)信息，讓動(dòng)態(tài)信息融入現(xiàn)實(shí)，達(dá)到動(dòng)態(tài)播放的效果；

步驟3.3)檢測(cè)主體識(shí)別結(jié)果的變化幅度，進(jìn)行動(dòng)態(tài)信息元件移動(dòng)修正，避免手持移動(dòng)設(shè)備小幅抖動(dòng)所造成的動(dòng)態(tài)信息的不必要移動(dòng)和識(shí)別主體算法產(chǎn)生的異常結(jié)果所造成的大幅度偏差；

步驟3，用戶成就系統(tǒng)：

(1)用戶上傳視頻和圖片；

(2)服務(wù)器端確認(rèn)用戶上傳的視頻和圖片的有效性；

(3)若有效，則給予相應(yīng)用戶一定的獎(jiǎng)勵(lì)成就；

通過(guò)用戶成就系統(tǒng)激勵(lì)用戶的上傳，從而豐富數(shù)據(jù)庫(kù)。