[發明專利]視頻處理方法

有效

• 申請號: 201980064705.0
• 申請日: 2019-12-31
• 公開（公告）號: CN112868237B
• 公開（公告）日: 2023-06-13
• 發明（設計）人: 施正軒;李亞璇;林建良
• 申請（專利權）人: 聯發科技股份有限公司
• 主分類號: H04N19/597
• 分類號: H04N19/597;H04N13/363
• 代理公司: 北京市萬慧達律師事務所 11111
• 代理人: 趙赫文

一種視頻處理方法包括以下步驟：接收比特流的一部分；對比特流的該部分進行解碼，以生成重構的基于投影的幀，該重構的基于投影的幀具有以360度虛擬現實(360VR)投影的投影布局封裝的至少一個投影面和至少一個填充區域；獲得經由比特流用信號傳送的色度采樣位置信息；以及執行混合處理，以通過將針對至少一個投影面中的第一色度樣本位置獲得的第一色度樣本值與針對至少一個填充區域中的第二色度樣本位置獲得的第二色度樣本值進行混合來生成目標色度樣本位置處的混合色度樣本值。根據色度采樣位置信息確定目標色度樣本位置、第一色度樣本位置和第二色度樣本位置中的至少一個。

交叉申請

本申請要求于2019年1月2日提交的第62/787,449號美國臨時申請的權益，并且該美國臨時申請通過引用并入本文中。

技術領域

本發明涉及處理全向圖像(omnidirectional?image)/視頻內容，并且更具體地涉及用于處理基于投影的幀的方法，該基于投影的幀包括以360度虛擬現實(360VR)投影布局封裝(pack)的至少一個投影面和至少一個填充(padding)區域。

背景技術

具有頭戴式顯示器(head-mounted?displays，HMD)的虛擬現實(VR)與多種應用相關聯。向用戶顯示寬視野內容的能力可以用于提供沉浸式視覺體驗。必須在所有方向上捕獲真實世界環境，以產生對應于球面的全向圖像/視頻內容。隨著攝像機裝備和HMD的進步，由于表示這種360度圖像/視頻內容所需要的高比特率，VR內容的傳送可能很快變成瓶頸。當全向視頻的分辨率為4K或更高時，數據壓縮/編碼對于降低比特率至關重要。

通常，對應于球面的全向圖像/視頻內容被變換成圖像序列，圖像中的各個是基于投影的幀，其具有由布置在360度虛擬現實(360VR)投影布局中的一個或更多個投影面表示的360度圖像/視頻內容，并然后基于投影的幀的序列被編碼成比特流以進行傳輸?；谕队暗膸诓季诌吔绾?或面邊緣處可能具有圖像內容不連續性。因此，在壓縮之后，布局邊界和/或面邊緣周圍的圖像質量可能較差。此外，通過重構的基于投影的幀的投影布局轉換可能引入偽影，從而導致轉換的幀的圖像質量劣化。

發明內容

所要求保護的發明的目的中的一個是提供用于處理基于投影的幀的方法，該基于投影的幀包括以360度虛擬現實(360VR)投影布局封裝的至少一個投影面和至少一個填充區域。

根據本發明的第一方面，公開了一種示例性視頻處理方法。該示例性視頻處理方法包括以下步驟：接收比特流的一部分；對比特流的該部分進行解碼，以生成重構的基于投影的幀，該重構的基于投影的幀具有以360度虛擬現實(360VR)投影的投影布局封裝的至少一個投影面和至少一個填充區域；獲得經由比特流用信號傳送的色度采樣位置信息；以及執行混合處理，以通過將針對在重構的基于投影的幀的所述至少一個投影面中的第一色度樣本位置獲得的第一色度樣本值與針對在重構的基于投影的幀的所述至少一個填充區域中的第二色度樣本位置獲得的第二色度樣本值進行混合來生成目標色度樣本位置處的混合色度樣本值，其中，根據色度采樣位置信息來確定目標色度樣本位置、第一色度樣本位置和第二色度樣本位置中的至少一個。

根據本發明的第二方面，公開了一種示例性視頻處理方法。該示例性視頻處理方法包括以下步驟：接收比特流；對比特流的一部分進行解碼，以生成第一重構的基于投影的幀，該第一重構的基于投影的幀具有以360度虛擬現實(360VR)投影的投影布局封裝的至少一個投影面和至少一個填充區域；對第一重構的基于投影的幀執行混合處理，該混合處理包括：通過將針對第一重構的基于投影的幀的所述至少一個投影面中的第一像素位置獲得的第一像素值與針對第一重構的基于投影的幀的所述至少一個填充區域中的第二像素位置獲得的第二像素值進行混合來生成混合像素值；以及對比特流的另一部分進行解碼，以生成第二重構的基于投影的幀，其中，混合像素值由生成第二重構的基于投影的幀所涉及的幀間預測使用。