[發明專利]VR虛擬技術展示轉碼器的工作方法

在審

• 申請號: 201811342921.0
• 申請日: 2018-11-05
• 公開（公告）號: CN111147890A
• 公開（公告）日: 2020-05-12
• 發明（設計）人: 陳曦
• 申請（專利權）人: 上?；哿魑幕瘋鞑ビ邢薰?/a>
• 主分類號: H04N21/234
• 分類號: H04N21/234;H04N21/2343;H04N21/231;H04N21/235
• 代理公司: 上海宏京知識產權代理事務所(普通合伙) 31297
• 代理人: 趙朋曉

VR虛擬技術展示轉碼器的工作方法，包括以下操作步驟：A)、素材整理；B)、拼接全景視頻；C)、視頻存儲；D)、云端編碼，存儲器上的全景拼接視頻上傳到云端編碼服務器，編碼格式為AV1視頻編碼；E)、云端編碼服務器將全景拼接視頻分別生成低分辨率視頻和高分辨率視頻；F)、將低分辨率視頻和高分辨率視頻進行視頻混合剪輯；G)、VR展示校核，當校核不通過，重復步驟F)，當校核通過，進入下一步；H)、轉碼器轉換完成。本發明實現了將客戶各種復雜格式統一轉換為虛擬系統需要的格式，實現了當用戶轉換觀看模式時將低分辨率視角轉換成為高分辨率視角；要求數據少，對硬件要求低，推廣應用具有良好的經濟效益和社會效益。

技術領域

本發明屬于VR虛擬技術領域，特別涉及一種VR虛擬技術展示轉碼器的工作方法。

背景技術

虛擬現實(VR，Virtual Reality)技術是一種計算機仿真系統，通過對三維世界的模擬創造出一種嶄新的交互系統。它利用計算機生成模擬環境，是一種多源信息融合的交互式三維動態視景和實體行為系統仿真，并使用戶沉浸到該環境中。VR工作原理是用頭盔或眼罩等設備阻斷人眼與現實世界的連接，同時通過實時渲染的畫面，營造出一個全新的、虛擬的世界。這種虛擬現實技術，可以使用戶沉浸在特定的視聽空間內，將傳統的平面顯示方式全息化、立體化，提升用戶視聽體驗。VR行業發展歷程進行了回顧：(1)概念萌芽期(1935—1961)。1935年，小說家Stanley Weinbaum在其小說中描述了一款VR眼鏡，以眼鏡為基礎，包括視覺、嗅覺、觸覺等全方位沉浸式體驗的虛擬現實概念，這被認為是世界上率先提出虛擬現實概念的作品。(2)研發與軍用階段(1962—1993)。1962年，名為Sensorama的虛擬現實原型機被Morion Heilig研發出來，后來被用以虛擬現實的方式模擬飛行訓練。這一階段的VR技術仍僅限于研究階段，并沒有生產出能交付到使用者手上的產品。(3)產品迭代初期(1994—2015)。從1994年起，日本游戲公司Sega和任天堂分別針對游戲產業陸續推出Sega VR-1和Virtual Boy等產品，當時在業內引起不小的轟動。但因為設備成本高、內容應用水平一般，最終普及率不高。(4)產品成型爆發期(2016起)。隨著HTC、索尼等一線大廠多年的付出和努力，這一階段的產品擁有更親民的定價、更強大的內容體驗與交互手段，輔以強大的資本支持與市場推廣，整個VR行業正式進入爆發成長期。

由于現有的視頻，圖片格式繁多，并且各有優勢，但不是所有的格式都適合VR播放且通過互聯網傳播，互聯網對媒體文件格式的要求趨向于壓縮率高且效果好，對設備硬件要求低的格式，但客戶手頭的媒體資源，可能存在不同的格式(如jpg，png，tiff，mov，mp4等)各種的媒體格式，在完成制作VR視頻內容后，需利用媒體平臺的網絡發給廣大用戶，而當前全景視頻技術面臨最大的挑戰就是網絡傳輸與壓縮碼率。隨著互聯網技術的不斷發展，在網絡中的1080P視頻資源播放相對較為流暢，但如果要對2K/4K全景視頻進行播放時，必須要其網絡速率達到4M左右，否則在觀看全景視頻時，會出現經常性卡頓的問題，對于視頻欣賞體驗有著非常大的影響。在對全景視頻進行壓縮編譯過程中，通常情況下會使用rectangular球面全景圖格式作為常規格式。在進行3D360°全景圖片處理時，通過是將左、右眼全景圖片進行上下拼接，確保其長度與寬度比為1∶1；對于3D180°全景圖片，主要是利用左、右眼全景圖進行左右拼接，確保其長度與寬度比為2∶1。在南北極區域中，球面全景圖有很多冗余像素情況，前些年，Facebook實現了全景多棱模型的構建，但在實際測試與應用過程中發現，其分辨率可以將用戶不關注的畫圖進行分辨率降低處理，但存在當用戶轉換觀看模式時將低分辨率視角無法轉換成為高分辨率視角的技術缺陷。

2018年4月，由蘋果、亞馬遜、AMD、Adobe、ARM、思科、Facebook、Google、微軟、英特爾、英偉達、Mozilla、Netflix等公司組成的開放媒體聯盟(Alliance of Open Media，簡稱AOM)發布了新一代視頻編碼格式AV11.0，該視頻編碼格式能在任何終端設備及任何網絡環境，輕量級處處可用，克服了H.265對客戶端解碼硬件水平的高要求。