[發(fā)明專利]基于增強現(xiàn)實技術的視頻播放方法、系統(tǒng)及移動終端

有效

• 申請?zhí)枺?/td>: 201210271482.5
• 申請日: 2012-08-01
• 公開（公告）號: CN102821323A
• 公開（公告）日: 2012-12-12
• 發(fā)明（設計）人: 柳寅秋;李薪宇;宋海濤
• 申請（專利權）人: 成都理想境界科技有限公司
• 主分類號: H04N21/434
• 分類號: H04N21/434;H04N21/439;H04N21/44;H04M1/725;G06T15/00;G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.基于增強現(xiàn)實技術的視頻播放方法，其特征在于，包括：

根據(jù)攝像機捕獲的當前場景圖像，在圖像數(shù)據(jù)庫中搜索與當前場景圖像中的目標圖片匹配的樣本圖像及與所述樣本圖像對應的視頻文件；

對所述樣本圖像對應的視頻文件進行音視頻分離和解碼，得到視頻各幀圖像序列和音頻數(shù)據(jù)；

對攝像機捕獲的當前場景圖像和樣本圖像進行配準，計算攝像機的姿態(tài)，得到單應性矩陣；并根據(jù)所述單應性矩陣，繪制出能將當前場景圖像中的目標圖片完全覆蓋的矩形平面3D模型；

將所述視頻各幀圖像序列中的視頻幀圖像作為紋理逐幀映射到所述3D模型上，進行圖形渲染；

將攝像機捕獲的當前場景圖像與渲染的3D模型融合輸出顯示，并同步輸出所述音頻數(shù)據(jù)。

2.如權利要求1所述的方法，其特征在于，所述對攝像機捕獲的當前場景圖像和樣本圖像進行配準，計算攝像機的姿態(tài)，得到單應性矩陣，包括：

實時連續(xù)地對攝像機捕獲的當前場景圖像和樣本圖像進行配準，計算攝像機的姿態(tài)，得到單應性矩陣。

3.如權利要求1所述的方法，其特征在于，所述對攝像機捕獲的當前場景圖像和樣本圖像進行配準，計算攝像機的姿態(tài)，得到單應性矩陣，包括：

對攝像機捕獲的當前場景圖像和樣本圖像進行配準，得到初始單應性矩陣；

根據(jù)圖像配準成功的圖像特征點、初始單應性矩陣及攝像機實時捕獲的當前場景圖像，對目標圖片進行光流跟蹤，由跟蹤算法得到單應性矩陣。

4.如權利要求3所述的方法，其特征在于，所述方法還包括：判斷對目標圖片進行光流跟蹤是否跟丟，當跟蹤丟失時，再次對攝像機捕獲的當前場景圖像進行特征點檢測與圖像配準。

5.如權利要求1至4中任一項所述的方法，其特征在于，所述根據(jù)攝像機捕獲的當前場景圖像，在圖像數(shù)據(jù)庫中搜索與當前場景圖像中的目標圖片匹配的樣本圖像及與所述樣本圖像對應的視頻文件，進一步包括：

攝像機捕獲包含目標圖片的當前場景圖像；

對攝像機捕獲的當前場景圖像進行特征檢測，提取出圖像特征點，并對圖像特征點進行特征描述，得到整幅圖像的特征描述數(shù)據(jù)；

根據(jù)當前場景圖像的特征描述數(shù)據(jù)，在圖像數(shù)據(jù)庫中進行圖像搜索，得到與當前場景圖像中的目標圖片匹配的樣本圖像及與所述樣本圖像對應的視頻文件。

6.基于增強現(xiàn)實技術的視頻播放系統(tǒng)，其特征在于，包括攝像模塊、圖像特征提取模塊、圖像搜索模塊、圖像配準模塊、音視頻分離及解碼模塊、圖像渲染模塊、音視頻輸出模塊，其中：

攝像模塊，用于捕獲包含目標圖片的當前場景圖像；

圖像特征提取模塊，對攝像模塊捕獲的當前場景圖像進行特征點檢測及提取，并生成特征點描述，得到當前場景圖像的特征描述數(shù)據(jù)；

圖像搜索模塊，接收來自所述圖像特征提取模塊的當前場景圖像的特征描述數(shù)據(jù)，在圖像數(shù)據(jù)庫中進行搜索，將匹配成功的樣本圖像的特征描述數(shù)據(jù)傳遞給圖像配準模塊，同時將匹配成功的樣本圖像對應的視頻資源的UR?I傳遞給音視頻分離及解碼模塊；

圖像配準模塊，根據(jù)圖像搜索模塊返回的樣本圖像的特征描述數(shù)據(jù)及圖像特征提取模塊產生的當前場景圖像的特征描述數(shù)據(jù)，對攝像模塊捕獲的當前場景圖像和樣本圖像進行配準，得到單應性矩陣；

音視頻分離及解碼模塊，根據(jù)圖像搜索模塊得到的視頻資源的UR?I，找到對應的視頻文件，并對所述視頻文件進行音視頻分離和解碼，得到視頻各幀圖像序列和音頻數(shù)據(jù)；將所述視頻各幀圖像序列傳遞給圖形渲染模塊，將所述音頻數(shù)據(jù)傳遞給音視頻輸出模塊；

圖形渲染模塊，根據(jù)圖像配準模塊計算出的單應性矩陣，繪制出能將當前場景圖像中的目標圖片完全覆蓋的矩形平面3D模型，并將音視頻分離及解碼模塊提取出來的視頻各幀圖像作為紋理逐幀映射到所述3D模型上，完成圖形渲染；

音視頻輸出模塊，將攝像機模塊捕獲的當前場景圖像與圖形渲染模塊渲染的3D模型融合輸出顯示，并同步輸出音頻數(shù)據(jù)。

7.如權利要求6所述的系統(tǒng)，其特征在于，所述圖像配準模塊實時連續(xù)地對攝像機捕獲的當前場景圖像和樣本圖像進行配準，計算攝像模塊的姿態(tài)，得到單應性矩陣。