[發明專利]多維視頻轉碼

在審

• 申請號: 202011022363.7
• 申請日: 2020-09-25
• 公開（公告）號: CN113115048A
• 公開（公告）日: 2021-07-13
• 發明（設計）人: 吉爾·博伊斯;巴塞爾·薩拉希
• 申請（專利權）人: 英特爾公司
• 主分類號: H04N19/40
• 分類號: H04N19/40;H04N19/184;H04N19/132
• 代理公司: 北京東方億思知識產權代理有限責任公司 11258
• 代理人: 李麗

本公開涉及多維視頻轉碼。一種用于對多維視頻進行轉碼的示例裝置包括多維視頻解碼器，用于對多維視頻的第一比特流進行解碼。該裝置還包括轉碼器，用于對經解碼第一比特流進行轉碼以生成經轉碼多維數據。該裝置還包括多維視頻編碼器，用于基于經轉碼多維數據來生成第二比特流。

技術領域

本公大體涉及圖像處理領域，更具體地，涉及多維視頻轉碼。

背景技術

視頻轉碼可以用于將第一比特流轉換為具有不同分辨率或比特率的第二比特流。例如，可以使用具有可能不支持第一比特流的帶寬的網絡來流送第二比特流，或者使用支持第二比特流的較低分辨率的設備來播放第二比特流。

發明內容

根據本公開的一方面，提供了一種用于對多維視頻進行轉碼的裝置。該裝置包括：多維視頻解碼器，用于對多維視頻的第一比特流進行解碼；轉碼器，對經解碼第一比特流進行轉碼以生成經轉碼多維數據；以及多維視頻編碼器，用于基于經轉碼多維數據來生成第二比特流。

根據本公開的另一方面，提供了一種用于對多維視頻進行轉碼的方法。該方法包括：通過處理器接收多維視頻的第一比特流；通過處理器對第一比特流進行解碼；通過處理器對經解碼第一比特流進行轉碼，以生成經轉碼多維數據；以及通過處理器基于經轉碼多維數據來生成第二比特流。

根據本公開的另一方面，提供了一種用于對多維視頻進行轉碼的系統。該系統包括：用于對多維視頻的第一比特流進行解碼的裝置；用于對經解碼第一比特流進行轉碼以生成經轉碼多維數據的裝置；以及用于基于經轉碼多維數據來生成第二比特流的裝置。

附圖說明

圖1是示出用于對多維視頻進行轉碼的示例系統的框圖；

圖2是示出用于對多維視頻進行轉碼的另一示例系統的框圖；

圖3是示出用于對多維視頻進行轉碼的方法的流程圖；

圖4是示出可以對多維視頻進行轉碼的示例計算設備的框圖；以及

圖5是示出存儲用于對多維視頻進行轉碼的代碼的計算機可讀介質的框圖。

本公開和附圖通篇使用相同的數字來指代相似的組件和特征。100系列中的數字是指最初在圖1中找到的特征；200系列中的數字是指最初在圖2中找到的特征；以此類推。

具體實施方式

如本文中所使用的，多維視頻是指包括三個或更多個維度的視頻。例如，體積視頻可以包括三個維度，光場視頻可以包括四個到八個維度，而沉浸式視頻可以具有六個自由度(相當于四個到五個維度)。多維視頻可以包括體積視頻、沉浸式視頻、以及光場視頻。體積視頻包括同時記錄每個方向的視圖的視頻記錄。例如，可以使用全向相機或相機的集合來捕獲體積視頻。在普通平面顯示器上播放期間，觀看者可以像全景那樣控制觀看方向。

可以使用各種技術來捕獲和生成多維視頻，包括沉浸式視頻、基于點云的視頻、以及光場。例如，沉浸式視頻編解碼器使得能夠捕獲和編碼視頻的多個視圖，并且通過解碼器將其呈現在特定的視口內。如本文中所使用的，視口是紋理在全向或3D圖像或視頻的視場的平面表面上的投影，其適合于顯示以及由具有特定觀看位置和取向的用戶觀看。例如，視口可以是具有特定角度二維視圖，該二維視圖通過用戶佩戴的頭戴式顯示器(HMD)顯示，以提供不同的觀看位置和取向來改變特定視圖。例如，可以基于佩戴HMD設備的用戶的移動來旋轉、平移視圖等。

光場描述了在給定的樣本點處來自所有方向的入射光。光場可以用于后期處理，以生成諸如景深之類的效果并且允許用戶略微移動其頭部。