[發明專利]連續預測域

有效

• 申請號: 201580035476.1
• 申請日: 2015-10-20
• 公開（公告）號: CN106664403B
• 公開（公告）日: 2020-10-16
• 發明（設計）人: 阿德里安·威廉·格朗熱;亞歷山大·杰·康弗斯;德巴爾加·慕克吉;賴利·亞當斯;吉姆·班科斯基;安德魯·伊安·拉塞爾
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: H04N19/105
• 分類號: H04N19/105;H04N19/593;H04N19/107;H04N19/503;H04N19/174;H04N19/44;H04N19/61
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 李佳;穆德駿

公開了一種編碼球形視頻的方法。該方法包括基于投影，將球形視頻的幀映射到二維表示。此外，在預測過程中，該方法包括確定與預測方案相關聯的至少一個塊是否處于二維表示的邊界上；以及在確定與預測方案相關聯的至少一個塊處于邊界上時，選擇相鄰端塊作為包括在預測過程期間使用的至少一個像素的塊，相鄰端塊與二維表示的兩個或更多個邊界相關聯。

相關申請的交叉引用

本申請要求2014年10月20日提交的，名為“CONTINUOUS PREDICTION DOMAIN(連續預測域)”的U.S.非臨時專利申請No.14/518,956、2014年10月20日提交的，名為“COMPRESSING AND REPRESENTING MULTI-VIEW VIDEO(壓縮并表示多視圖視頻)”的U.S.非臨時專利申請No.14/519,006、2014年10月20日提交的，名為“STREAMING THE VISIBLEPARTS OF A SPHERICAL VIDEO(流傳送球形視頻的可見部分)”的U.S.非臨時專利申請No.14/518,710、2014年10月20日提交的，名為“MAPPING SPHERICAL IMAGE TO 2DREPRESENTATIONS(將球形圖像映射至2D表示)”的U.S.非臨時專利申請No.14/518,779的優先權，其全部內容作為引用并入于此。

技術領域

實施例涉及編碼和解碼球形圖像和球形視頻。實施例涉及流傳送球形視頻。

背景技術

通常，常規二維(2D)幀內預測方案選擇待編碼的塊的左邊和上方的1,2,3,…,n像素邊界，以用于根據上或左重構塊來確定殘差。此外，在幀間預測方案中，使用評價函數，在至少一個參考圖片的搜索范圍內搜索與待編碼的塊類似的參考塊。然而，沿2D幀或圖像的邊界，在幀內預測期間，可能不存在上或左重構塊中的至少一個。此外，在幀間預測期間，沿邊界的搜索范圍有限。因此，需要能利用對應于球形視頻或圖像的2D幀或圖像的特性的幀內/幀間預測方案。

流傳送球形視頻(或其他三維視頻)會消耗大量系統資源。例如，編碼的球形視頻能包括用于傳輸的大量比特，這會消耗大量帶寬以及與編碼器和解碼器相關聯的處理和存儲器。

通常，當編碼圖像和/或視頻幀時，編碼器和解碼器在二維(2D)調色板上操作。球形圖像和視頻是三維的，因此，常見的編碼器和解碼器不能夠編碼/解碼球形圖像和視頻。

發明內容

示例性實施例描述用于將球形圖像和視頻轉換成2D表示并且在編碼/解碼圖像和/或視頻幀期間，利用2D表示的特定特性的技術。

在一般方面，一種用于編碼球形視頻的方法能包括基于投影，將所述球形視頻的幀映射到二維表示。此外，在預測過程中，該方法能包括確定與預測方案相關聯的至少一個塊是否處于二維表示的邊界上；以及在確定與預測方案相關聯的至少一個塊處于邊界上時，選擇相鄰端塊作為包括在預測過程期間使用的至少一個像素的塊，相鄰端塊與二維表示的兩個或更多個邊界相關聯。

實施方式能包括下述特征中的一個或多個。例如，預測過程能是幀內預測過程，與預測方案相關聯的至少一個塊是待編碼的塊，以及相鄰端塊被選擇作為以下中的一個：待編碼的塊的左重構塊或上重構塊。預測過程能是幀間預測過程，以及與預測方案相關聯的至少一個塊能是包括在待搜索匹配塊的參考幀中的多個塊中的塊。預測過程能是幀間預測過程，以及與預測方案相關聯的至少一個塊被選擇作為來自待搜索的參考幀中的多個塊中的預測塊，所述多個塊橫跨參考幀的邊界。

例如，將球形視頻的幀映射到二維表示能包括使用基于等距長方投影的等式。將球形視頻的幀映射到二維表示能包括基于使用半等距長方投影的等式。例如，該方法能進一步包括在確定待編碼的塊遠離邊界時，在幀內預測過程中，選擇相鄰塊作為模板，相鄰端塊是以下中的至少一個：待編碼的塊的左重構塊或待編碼的塊的上重構塊。選擇相鄰端塊包括從與預測方案相關聯的塊相同的行的相對端或與待編碼的塊相同的列的相對端的至少一個中選擇重構塊。選擇相鄰端塊包括從查找表選擇重構塊。