[發(fā)明專利]用于處理包括堆棧在具有填充的基于立方體的投影布局中的投影面的基于投影的幀的方法

有效

• 申請?zhí)枺?/td>: 202210138355.1
• 申請日: 2019-03-01
• 公開（公告）號: CN114615485B
• 公開（公告）日: 2023-07-25
• 發(fā)明（設計）人: 李亞璇;林建良
• 申請（專利權）人: 聯(lián)發(fā)科技股份有限公司
• 主分類號: H04N13/161
• 分類號: H04N13/161;H04N13/332;H04N13/363;H04N13/388
• 代理公司: 北京市萬慧達律師事務所 11111
• 代理人: 白華勝

一種視頻處理方法，包括：根據(jù)基于立方體的投影從球體的全向內容中獲取多個正方形投影面，分別縮放所述多個正方形投影面，生成多個縮放投影面，創(chuàng)建至少一個填充區(qū)域，通過在所述基于立方體的投影的投影布局中堆棧所述多個縮放投影面和所述至少一個填充區(qū)域來生成基于投影的幀，并且對所述基于投影的幀進行編碼以生成比特流的一部分。

相關引用

本發(fā)明主張遞交于2018年3月2日，號碼為62/637,425以及遞交于2018年7月31日，號碼為62/712,290的美國臨時專利申請案的優(yōu)先權，上述列出的申請案的全部內容，包括美國臨時專利申請案62/637,425和62/712,290，以引用方式并入本文。

背景技術

具有頭戴式顯示器(head-mounted?display，簡稱HMD)的虛擬現(xiàn)實(VirtualReality，簡稱VR)與各種應用相關。向用戶顯示較寬區(qū)域的觀看內容的能力可以用于提供身臨其境的視覺體驗。必須在所有方向獲取現(xiàn)實世界環(huán)境，得到對應于球體的全向圖像/視頻內容。隨著攝像機設備和HMD的發(fā)展，由于呈現(xiàn)這種360度圖像/視頻內容所需的高比特率，所以VR內容的傳送可能很快變成瓶頸。當全向視頻的分辨率是4k或者更高時，數(shù)據(jù)壓縮/編碼對降低比特率是至關重要的。

通常，對應于球體的全向視頻內容被變換為圖像序列，每個圖像是具有由排列在360度虛擬現(xiàn)實(360VR)中的一個或多個投影面所表示的360度圖像內容的基于投影的幀，然后基于投影的幀序列被編碼成比特流以用于傳輸。基于投影的幀可以在布局邊界和/或面邊緣處具有圖像內容不連續(xù)性。如此一來，壓縮之后的布局邊界和/或面邊緣周圍的圖像質量可能較差。此外，通過解碼的基于投影的幀的投影布局轉換可能引入偽影，從而導致轉換的基于投影的幀的圖像質量劣化。

發(fā)明內容

本發(fā)明的目的之一是提供一種用于處理基于投影的幀的方法，所述基于投影的幀包括堆棧在具有填充的基于立方體的投影布局中的投影面。

根據(jù)本發(fā)明的第一方面，公開了一種示例性視頻處理方法。所述示例性視頻處理方法包括：根據(jù)基于立方體的投影從球體的全向內容獲得多個正方形投影面；分別縮放所述多個正方形投影面以生成多個縮放投影面；通過填充電路生成至少一個填充區(qū)域；通過在所述基于立方體的投影的投影布局中堆棧所述多個縮放投影面和所述至少一個填充區(qū)域來生成基于投影的幀；并對所述基于投影的幀進行編碼以生成比特流的一部分。

根據(jù)本發(fā)明的第二方面，公開了一種示例性視頻處理方法。所述示例性視頻處理方法包括：接收比特流的一部分，并對所述比特流的一部分進行解碼，以生成解碼的基于投影的幀，其具有堆棧在基于立方體的投影的投影布局中的多個投影面和至少一個填充區(qū)域。解碼所述比特流的一部分的步驟包括：通過混合針對第一像素獲得的解碼像素值和針對第二像素獲得的解碼像素值來重構第一像素，以生成所述第一像素的更新的像素值。所述混合步驟包括：通過混合電路將第一加權因子應用于針對所述第一像素獲得的所述解碼像素值，并且通過所述混合電路將第二加權因子應用于針對所述第二像素獲得的所述解碼像素值，其中，所述第一像素和所述第二像素中的其中一個包括在所述多個投影面中的一個里，所述第一像素和所述第二像素中的另一個包括在所述至少一個填充區(qū)域中，以及所述第一加權因子和所述第二加權因子的設置與所述至少一個填充區(qū)域的填充尺寸不相關。

在結合下面附圖閱讀本發(fā)明的推薦實施例的如下詳細描述后，本發(fā)明的內容對于所屬技術領域的技術人員而言無疑將是顯而易見的。

附圖說明

圖1是示出根據(jù)本發(fā)明的實施例的360度虛擬現(xiàn)實(360VR)系統(tǒng)的示意圖。

圖2是示出根據(jù)本發(fā)明的實施例的基于立方體的投影的示意圖。

圖3是示出根據(jù)本發(fā)明的實施例的具有填充的基于立方體的投影布局的示意圖。

圖4是示出根據(jù)本發(fā)明的實施例的第一種具有填充和面縮放(face?scaling)的基于立方體的投影布局的示意圖。