[發(fā)明專利]基于增強現(xiàn)實的全景視頻交互方法和系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201410499692.9
• 申請日: 2014-09-25
• 公開（公告）號: CN104219584A
• 公開（公告）日: 2014-12-17
• 發(fā)明（設計）人: 黃成文;梁泳山
• 申請（專利權(quán)）人: 廣州市聯(lián)文信息科技有限公司
• 主分類號: H04N21/472
• 分類號: H04N21/472;H04N21/4725;H04N13/00
• 代理公司: 廣州三環(huán)專利代理有限公司 44202
• 代理人: 麥小嬋;郝傳鑫

技術領域

本發(fā)明涉及視頻展示技術領域，尤其涉及一種基于增強現(xiàn)實的全景視頻交互方法和系統(tǒng)。

背景技術

目前全景圖像處理技術得到了快速發(fā)展，可以建立全景視頻展示系統(tǒng)應用于旅游景點虛擬導覽、企業(yè)展示宣傳以及商業(yè)空間展示等方面。現(xiàn)有的全景圖像或全景視頻技術，可以先攝取現(xiàn)實世界中的景物圖片，利用專業(yè)設備或者軟件將拍攝的圖片轉(zhuǎn)換為全景圖像，從而形成全景視頻。

現(xiàn)有技術主要存在如下兩種具體實現(xiàn)方式：

(1)通過攝像機、魚眼鏡頭等硬件設施進行拍攝，利用全景拍攝拼接軟件將圖片拼接為全景圖像，之后將多張全景圖像導入全景制作軟件中進行全景制作，并可添加一些功能如：縮略圖、地圖導航、熱點彈出圖片或者文字介紹等，最后對全景視頻進行發(fā)布。(2)利用三維建模軟件建立場景模型。

第一種實現(xiàn)方式可以使用有限的圖片實現(xiàn)全景視頻，但是，這種全景技術通常僅在一個大場景中采集一個或者幾個視點，因而用戶只能在選定的視點中觀察到該全景場景中的細節(jié)，而不能在其他三維場景中進行漫游。由于用戶坐標相對固定，只能在幾個固定的點進行視角與視野的變換，切換場景只能點擊其他三維全景的鏈接，因而無法實現(xiàn)連續(xù)的瀏覽體驗，增加了漫游的局限性。同時，該方式實現(xiàn)的全景場景無法加入虛擬物體進行展示以及交互，因此系統(tǒng)的交互性、可操作性以及擴展性較差。第二種實現(xiàn)方式使用三維軟件建模，可以實現(xiàn)視點的自由移動，但是其開發(fā)工作量及其所需處理的數(shù)據(jù)量較大，模型精度相對較低。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術問題是，提供一種基于增強現(xiàn)實的全景視頻交互方法和系統(tǒng)，實現(xiàn)視點的自由移動，改善全景連續(xù)瀏覽體驗，在全景視頻中增加交互熱區(qū)實現(xiàn)人機互動。

為解決以上技術問題，一方面，本發(fā)明實施例提供一種基于增強現(xiàn)實的全景視頻交互方法，包括：

通過全景攝像設備采集真實景物的視頻數(shù)據(jù)，將所述視頻數(shù)據(jù)輸入到圖像處理器中進行處理；

所述圖像處理器將所述視頻數(shù)據(jù)轉(zhuǎn)化為連續(xù)的單幀圖像，并記錄每幀所述單幀圖像之間的先后順序關系；

在所述單幀圖像中選定交互熱區(qū)，設定所述交互熱區(qū)的坐標及范圍；

所述圖像處理器根據(jù)先后順序關系將所述單幀圖像轉(zhuǎn)換為全景圖像三維場景；

將所述全景圖像三維場景傳輸至終端設備；

所述終端設備根據(jù)所述全景攝像設備在采集真實景物時的視角確定投影范圍，將全景圖像三維場景轉(zhuǎn)換為球面全景圖像，并將所述球面全景圖像輸出至所述終端設備的屏幕上進行顯示。

進一步地，所述的基于增強現(xiàn)實的全景視頻交互方法，還包括：

所述終端設備實時監(jiān)測用戶在屏幕上輸入的圖像移動軌跡，根據(jù)所述圖像移動軌跡調(diào)整所述全景圖像三維場景的顯示視角，將所述球面全景圖像逐幀投影在顯示屏幕上。

進一步地，所述的基于增強現(xiàn)實的全景視頻交互方法，還包括：

所述終端設備實時監(jiān)測用戶對所述交互區(qū)域的點擊狀態(tài)，并在所述交互區(qū)域接收到點擊信號時，啟動與所述交互區(qū)域相關聯(lián)的三維立體控件的運行和/或三維立體視頻的播放。

優(yōu)選地，所述圖像處理器根據(jù)先后順序關系將所述單幀圖像轉(zhuǎn)換為全景圖像三維場景，包括：通過以下方程，將每一幀所述單幀圖像上的任意一個像素點P的坐標(x,y)轉(zhuǎn)換為三維坐標P1(u,v,w)：