[發明專利]基于增強現實技術的視頻播放方法、系統及移動終端

有效

• 申請號: 201210271482.5
• 申請日: 2012-08-01
• 公開（公告）號: CN102821323A
• 公開（公告）日: 2012-12-12
• 發明（設計）人: 柳寅秋;李薪宇;宋海濤
• 申請（專利權）人: 成都理想境界科技有限公司
• 主分類號: H04N21/434
• 分類號: H04N21/434;H04N21/439;H04N21/44;H04M1/725;G06T15/00;G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明涉及移動增強現實領域，尤其涉及基于增強現實技術的視頻播放方法、系統及移動終端。

背景技術

背景技術一：

移動增強現實(Mobile?Augmented?Reality)，即基于移動終端的增強現實，是增強現實(AR)技術與移動計算相結合而產生的研究方向，是近年來人機交互領域備受關注的熱點之一。移動增強現實具有傳統增強現實的本質，即在真實環境呈現的場景中，借助與計算機圖形技術和可視化技術，將虛擬信息實時“無縫”與之融合，利用虛擬信息對真實場景進行補充、增強；同時與移動終端平臺的結合，可以最大限度的發揮增強現實技術“可移動性”的特點，給予用戶完全區別于傳統PC平臺的全新的感知體驗和交互模式。

然而現有的增強現實系統，主要是將虛擬三維模型直接疊加到真實場景中，運用范圍有限。

背景技術二：

現有移動終端視頻播放方式，基本都是通過普通的視頻播放軟件播放，例如：當用戶需要在手機上觀看從網絡搜索來的視頻，只能在網絡上搜索到該視頻后，用普通播放軟件播放該視頻。傳統的視頻播放方式較為陳舊，沒有新意，不能給予用戶區別于傳統PC平臺的感知體驗和交互模式。

發明內容

本發明的目的是提供一種基于增強現實技術的視頻播放方法、系統及移動終端，擴寬增效現實技術運用范圍的同時，解決了傳統視頻播放方式陳舊，無新意的問題，能將報刊雜志等平面媒體上的圖片信息，通過本系統轉化為視頻信息，視頻與圖片在空間位置上完全貼合，使用戶獲得“寓情于景”的全新視聽體驗。

為了實現上述發明目的，本發明提供了一種基于增強現實技術的視頻播放方法，包括：

根據攝像機捕獲的當前場景圖像，在圖像數據庫中搜索與當前場景圖像中的目標圖片匹配的樣本圖像及與所述樣本圖像對應的視頻文件；

對所述樣本圖像對應的視頻文件進行音視頻分離和解碼，得到視頻各幀圖像序列和音頻數據；

對攝像機捕獲的當前場景圖像和樣本圖像進行配準，計算攝像機的姿態，得到單應性矩陣；并根據所述單應性矩陣，繪制出能將當前場景圖像中的目標圖片完全覆蓋的矩形平面3D模型；

將所述視頻各幀圖像序列中的視頻幀圖像作為紋理逐幀映射到所述3D模型上，進行圖形渲染；

將攝像機捕獲的當前場景圖像與渲染的3D模型融合輸出顯示，并同步輸出所述音頻數據。

優選的，所述對攝像機捕獲的當前場景圖像和樣本圖像進行配準，計算攝像機的姿態，得到單應性矩陣，可以為：

實時連續地對攝像機捕獲的當前場景圖像和樣本圖像進行配準，計算攝像機的姿態，得到單應性矩陣。

優選的，所述對攝像機捕獲的當前場景圖像和樣本圖像進行配準，計算攝像機的姿態，得到單應性矩陣，還可以為：

對攝像機捕獲的當前場景圖像和樣本圖像進行配準，得到初始單應性矩陣；

根據圖像配準成功的圖像特征點、初始單應性矩陣及攝像機實時捕獲的當前場景圖像，對目標圖片進行光流跟蹤，由跟蹤算法得到單應性矩陣。

優選的，在對目標圖片進行光流跟蹤時，所述方法還包括：判斷對目標圖片進行光流跟蹤是否跟丟，當跟蹤丟失時，再次對攝像機捕獲的當前場景圖像進行特征點檢測與圖像配準。

優選的，所述根據攝像機捕獲的當前場景圖像，在圖像數據庫中搜索與當前場景圖像中的目標圖片匹配的樣本圖像及與所述樣本圖像對應的視頻文件，進一步包括：

攝像機捕獲包含目標圖片的當前場景圖像；

對攝像機捕獲的當前場景圖像進行特征檢測，提取出圖像特征點，并對圖像特征點進行特征描述，得到整幅圖像的特征描述數據；

根據當前場景圖像的特征描述數據，在圖像數據庫中進行圖像搜索，得到與當前場景圖像中的目標圖片匹配的樣本圖像及與所述樣本圖像對應的視頻文件。

相應的，本發明還提供了一種基于增強現實技術的視頻播放系統，包括攝像模塊、圖像特征提取模塊、圖像搜索模塊、圖像配準模塊、音視頻分離及解碼模塊、圖像渲染模塊、音視頻輸出模塊，其中：

攝像模塊，用于捕獲包含目標圖片的當前場景圖像；

圖像特征提取模塊，對攝像模塊捕獲的當前場景圖像進行特征點檢測及提取，并生成特征點描述，得到當前場景圖像的特征描述數據；

圖像搜索模塊，接收來自所述圖像特征提取模塊的當前場景圖像的特征描述數據，在圖像數據庫中進行搜索，將匹配成功的樣本圖像的特征描述數據傳遞給圖像配準模塊，同時將匹配成功的樣本圖像對應的視頻資源的UR?I傳遞給音視頻分離及解碼模塊；