[發明專利]利用自適應幀內預測的全向視頻編碼和解碼的方法和裝置

有效

• 申請號: 201780060296.8
• 申請日: 2017-09-28
• 公開（公告）號: CN109804633B
• 公開（公告）日: 2023-09-01
• 發明（設計）人: F.拉卡普;F.加爾平;P.博德斯
• 申請（專利權）人: 交互數字麥迪遜專利控股公司
• 主分類號: H04N19/597
• 分類號: H04N19/597;H04N19/593;H04N19/51;H04N19/61;H04N19/147;H04N19/46;H04N19/11;H04N19/174;G06T9/00;H04L65/70
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 于小寧

在全向視頻中，由于編碼空間和呈現空間之間的投影，呈現空間中的直線可能在要編碼的幀中不再看上去為直線。為了適應全向視頻的幾何形狀，沿非直線曲線執行幀內預測。具體地，沿非直線曲線復制當前塊的相鄰重構塊中的參考樣本以形成當前塊的預測塊。可以基于當前塊的單個幀內預測定向模式在線計算非直線曲線。非直線曲線的參數可以基于在形成全向視頻時使用的映射，以及當前塊的位置/大小。可以使用取決于當前塊的位置和大小的查找表或分析函數來獲得非直線曲線。

技術領域

本實施例一般涉及用于視頻編碼和解碼的方法和裝置，更具體地，涉及利用適配幀內預測的視頻編碼和解碼的方法和裝置。

背景技術

最近，可用的大視場內容(高達360°)已經增長。觀看沉浸式顯示設備(諸如頭戴式顯示器(HMD)，智能眼鏡，PC屏幕，平板電腦，智能手機等)上的內容的用戶潛在地不完全可見這樣的內容。這意味著在給定時刻，用戶可能只是查看內容的一部分。然而，用戶典型可以通過諸如頭部移動，鼠標移動，觸摸屏，語音等各種方式在內容內導航。典型期望編碼和解碼該內容。

發明內容

根據本原理的一般方面，提出一種用于編碼視頻數據的方法，包括：訪問用于畫面的第一塊的幀內預測的定向模式；確定與第一塊相鄰的重構塊中的多個參考樣本；沿非直線曲線傳播多個參考樣本中的每一個到第一塊內的一組樣本位置，以形成第一塊的預測塊，其中，非直線曲線基于訪問的定向模式；編碼定向模式；以及編碼第一個塊和預測塊之間的差。

根據本原理的另一方面，提供了一種用于編碼視頻數據的裝置，包括至少一個存儲器和一個或多個處理器，被配置為：訪問用于畫面的第一塊的幀內預測的定向模式；確定與第一塊相鄰的重構塊中的多個參考樣本；沿著非直線曲線傳播多個參考樣本中的每一個到第一塊內的一組樣本位置，以形成第一塊的預測塊，其中，非直線曲線基于訪問的定向模式；編碼定向模式；以及編碼第一個塊和預測塊之間的差。

可以以第一格式表示畫面，并且可以以第二格式表示與畫面相關聯的獲取的畫面。非直線曲線還可以基于第一格式和第二格式之間的映射。第一格式可以是2D矩形格式，第二格式可以是3D球體格式或立方體格式，并且映射可以是等矩形映射，立方體映射，金字塔映射，二十面體映射或八面體映射。獲取的畫面可以用于通過映射生成畫面。可以在比特流中發信號通知第一格式和第二格式之間的映射。

根據本原理的另一個一般方面，提出一種用于解碼視頻數據的方法，包括：訪問用于畫面的第一塊的幀內預測的定向模型；確定與第一塊相鄰的解碼塊中的多個參考樣本；沿非直線曲線傳播多個參考樣本中的每一個到第一塊內的一組樣本位置，以形成第一塊的預測塊，其中，非直線曲線基于訪問的定向模式；以及使用預測塊解碼第一塊。

根據本原理的另一方面，提供了一種用于解碼視頻數據的裝置，包括至少一個存儲器和一個或多個處理器，所述處理器被配置為訪問用于畫面的第一塊的幀內預測的定向模型；確定與第一塊相鄰的解碼塊中的多個參考樣本；沿著非直線曲線傳播多個參考樣本中的每一個到第一塊內的一組樣本位置，以形成第一塊的預測塊，其中，非直線曲線基于訪問的定向模式；以及使用預測塊解碼第一塊。

解碼畫面可以以第一格式表示，并且與解碼畫面相關聯的顯示畫面可以以第二格式表示。非直線曲線還可以基于第一格式和第二格式之間的映射。第一格式可以是2D矩形格式，第二格式可以是3D球體格式或立方體格式，并且映射可以是等矩形映射，立方體映射，金字塔映射，二十面體映射或八面體映射。解碼畫面可用于通過逆映射生成顯示畫面。

為了確定用于預測的參考樣本，可以將第一塊中的第一樣本位置映射到呈現空間中的第二塊中的第二樣本位置，呈現空間中的第二塊與畫面中的第一塊對應，基于第二樣本位置和定向模式，可以在呈現空間中確定與第二塊相鄰的第三位置；然后，第三位置可以被映射到與畫面中的第一塊相鄰的第四位置，其中第四位置處的樣本被用作參考樣本以預測塊中的第一樣本位置。可以將與定向模式對應的方向轉換為呈現空間中的另一方向，并且可以基于另一方向確定與第二塊相鄰的第三位置。