[發明專利]一種視頻圖像的編解碼方法和裝置

有效

• 申請號: 201610430405.8
• 申請日: 2016-06-16
• 公開（公告）號: CN107517385B
• 公開（公告）日: 2020-02-21
• 發明（設計）人: 楊海濤;李禮;李厚強
• 申請（專利權）人: 華為技術有限公司;中國科學技術大學
• 主分類號: H04N19/59
• 分類號: H04N19/59;H04N19/119;H04N19/80;H04N19/44;H04N19/597
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明實施例提供一種視頻圖像編解碼方法及裝置，其中，一種視頻圖像解碼方法，包括：解析高分辨率圖像碼流，生成第一類子圖像的重建圖像和第一類子圖像的輔助信息，輔助信息表征子圖像的尺寸信息和在解碼端待重建圖像中的位置信息，子圖像為解碼端待重建圖像中任一連續區域的像素集合，解碼端待重建圖像的子圖像互不重疊；當根據第一類子圖像的重建圖像不能獲得完整的解碼端重建圖像時，解析低分辨率圖像碼流，生成第二類子圖像的重建圖像，第二類子圖像具有和所述第一類子圖像相同的分辨率；根據輔助信息，拼接第一類子圖像的重建圖像和第二類子圖像的重建圖像，生成解碼端重建圖像。

技術領域

本發明實施例涉及視頻圖像壓縮領域，尤其涉及一種視頻圖像的編解碼方法和裝置。

背景技術

隨著虛擬現實眼鏡(Oculus Rift)，虛擬現實頭盔(Gear VR)等一系列虛擬現實(Visual Reality，VR)產品與應用的迅速流行，通過VR產品瀏覽視頻內容或進行實時視頻會話成為VR產品的重要應用之一。

VR終端設備的常見形式為頭戴式觀看設備，通常為一副眼鏡，其中內置發光屏幕用于顯示視頻圖像。設備中置有位置與方向感知系統，能夠追蹤用戶頭部的各種運動，并將相應位置與方向的視頻圖像內容呈現到屏幕上。VR終端設備還可以包括用戶視線追蹤系統等高級交互功能模塊，并將用戶感興趣區域呈現到屏幕上。為支持各個方向的視頻圖像內容呈現，VR視頻圖像需要包含三維空間上下左右360度全向的視覺信息，可以想象為從一個地球儀的內部中心位置向外觀看地球儀上的地圖。因此，VR視頻圖像也可以稱為全景視頻圖像。

視頻圖像可理解為在不同時刻所采集得到圖像的圖像序列，因物體運動在時空域具有連續性，該圖像序列中的相鄰圖像的內容高度相似性。因此，對視頻進行的各種處理也可分解為對其中的圖像分別進行相應處理。

如果全景視頻圖像采用球面格式，將無法方便的表示、存儲和索引，因此現有技術通常將球面全景圖展開得到二維平面全景圖，再對其進行壓縮、處理、存儲、傳輸等操作。將三維球面全景圖展開得到二維平面全景圖的操作稱為映射。目前存在多種映射方法，對應的得到多種二維平面全景圖格式。最常見的全景圖格式稱為經緯圖，可以形象的表示為圖1。經緯圖中，鄰近南北兩極區域圖像經過拉伸獲得，存在嚴重的失真和數據冗余。

為克服經緯圖中存在的強失真，如圖2所示，可以將全景圖像投影到一個金字塔形的五面體中，并保持用戶所觀看的當前視投影在金字塔的底部。這種投影方式保持金字塔底部的當前視的圖像分辨率不變，對其余四個面所表示的用戶側面及后方視進行降分辨率處理，接著將該五面體展開并對上述金字塔的四個側面進行形變處理使得金字塔的所有五個面拼接為一個正方形圖像，如圖3所示。為了能夠響應用戶切換視的需求，還可以將空間球面切分為若干個視點，為每一個視點生成金字塔格式圖像，并同時存儲這若干個視點的金字塔格式全景圖，如圖4所示。

可見，為了滿足用戶觀看任意視點視頻內容的需要，需要存儲大量的視頻數據，編碼多個視點的視頻數據，增加了編解碼設備的數據處理復雜度和功耗，進而為進行全景視頻的實時通信增加了困難。

發明內容

本發明的實施例提供一種視頻圖像的編解碼方法和裝置，用以提高編碼效率。

為達到上述目的，本發明的實施例采用如下技術方案：

第一方面，本發明實施例提供了一種視頻圖像編碼方法，包括：編碼待編碼圖像的至少一個子圖像，生成高分辨率圖像碼流，該子圖像為該待編碼圖像中任一連續區域的像素集合，該待編碼圖像的子圖像互不重疊；將該至少一個子圖像的輔助信息編入該高分辨率圖像碼流，該輔助信息表征該子圖像的尺寸信息和在該待編碼圖像中的位置信息。

該實施方式的有益效果在于選擇性地編碼部分圖像，并把該編碼部分圖像的輔助信息編入碼流，節省了需要編碼和存儲的數據，提供了編碼效率，節省了功耗。