[發明專利]處理立方體面圖像的視頻序列的方法及裝置

有效

• 申請號: 202011073107.0
• 申請日: 2017-01-04
• 公開（公告）號: CN112312010B
• 公開（公告）日: 2021-09-28
• 發明（設計）人: 林鴻志;張勝凱
• 申請（專利權）人: 聯發科技股份有限公司
• 主分類號: H04N5/232
• 分類號: H04N5/232;H04N19/70;H04N19/179;H04N19/186;G06T3/40;G06T3/00;G06T7/90
• 代理公司: 深圳市威世博知識產權代理事務所(普通合伙) 44280
• 代理人: 何青瓦

本發明公開了一種處理立方體面圖像的視頻序列的方法及裝置。根據該方法，接收包含一序列矩形組裝圖像的視頻序列，其中該矩形組裝圖像的每一個對應于六個立方體面圖像的集合，以用于渲染360度虛擬現實，并且該矩形組裝圖像是基于連續邊界的數量以及不連續邊界的數量，自至少一個的六個立方體面圖像的集合組裝的；依據的矩形組裝圖像的信息來解碼包含該序列矩形組裝圖像的該視頻序列，其中該矩形組裝圖像的信息表示該六個立方體面圖像對于該矩形組裝圖像的組裝關系；其中每個連續邊界對應于具有從一個面到另一個面的連續內容的兩個面之間的一個邊界，并且每個不連續邊界對應于具有從一個面到另一個面的不連續內容的兩個面之間的一個邊界。

相關申請

本發明是申請號為201780005908.3、發明名稱為“處理立方體面圖像的方法及裝置”的發明專利申請的分案申請。

技術領域

本發明涉及圖像和視頻編解碼。具體地，本發明涉及自360度全景視頻轉換的立方體面圖像的圖像處理與視頻壓縮的技術。

背景技術

360度視頻，也稱為沉浸式視頻，是一種新興技術，其可提供“身臨其境的感覺”。沉浸感通過用覆蓋全景視圖的環繞場景來圍繞使用者來實現，具體是用360度視場。“身臨其境的感覺”還可以通過立體渲染來提升。因此，全景視頻正被廣泛應用于虛擬現實(VirtualReality，VR)應用中。

沉浸式視頻涉及使用多個攝像機捕捉場景以覆蓋全景視圖，例如360度視場。沉浸式攝像機通常使用用于捕捉360度視場的一組攝像機。通常，兩個或以上攝像機用于沉浸式攝像機。所有視頻必須同時被捕捉，以及場景的單獨段(也稱為單獨透視圖)被記錄。此外，一組攝像機常常被設置成水平地捕捉視圖，而這些攝像機的其他設置也是可能的。

圖1示出了360度球面全景圖像的示例性處理鏈。360度球面全景圖像可以采用360度球面全景攝像機來捕捉。球面圖像處理單元110自攝像機接收原始圖像數據，以形成360度球面全景圖像。球面圖像處理可包括圖像縫合和攝像機校準。球面圖像處理在本技術領域中是熟知的，且在本公開中省略其細節。來自于球面圖像處理單元110的360度球面全景圖像的示例在圖像112中示出。如果攝像機被定位以使得頂端朝上，則360度球面全景圖像的頂端對應于垂直上方(或天空)，且底端指向大地。然而，如果攝像機被配置有陀螺儀，則垂直頂端可以總是被確定而無論攝像機如何被定位。在360度球面全景格式中，場景中的內容似乎是失真的。通常，球面格式被投影到立方體的表面，作為可選的360度格式。轉換可以由投影變換單元120來執行，以推導出對應于立方體的六個面的六面圖像122。在立方體的面上，這六個圖像被連接于立方體的邊緣處。由于360度圖像序列可能需要較大存儲空間或者需要較高帶寬以用于傳輸，視頻編碼器130的視頻編碼可以被應用于包括六面圖像序列的視頻序列。在接收器側或顯示側處，已壓縮視頻數據使用視頻解碼器140來解碼以恢復六面圖像序列，以在顯示設備150(例如，VR顯示)上進行顯示。

圖2A示出了投影轉換的示例，其中球面圖像被投影到立方體的六個面上。立方體的六個面從1到6進行編號。三個可見側210(即1、4和5)和三個不可見側220在圖2A中示出。每側的方向由其相應的側編號來表示。虛線圈中的側編號表示透視圖像，是由于這些圖像位于立方體的后側。這六個立方面從一個面到連接面連續于連接邊緣處。例如，面1與面5連接于邊緣214處。因此，如圖2B所示，面1的頂端邊緣連續地延伸到面5的底端邊緣，又例如，面4與面5的右側連接與邊緣212。因此，如圖2C所示，面4的頂端邊緣連續地延伸到面5的右側。面1與面5之間以及面4與面5之間的細縫隙旨在示出兩個面之間的圖像邊界。

為了允許圖像處理系統或視頻處理系統采用六個立方體面之間的空間和/或時間相關性或冗余，需要開發將這六個立方體面組裝成已組裝矩形圖像的方法，以用于有效的處理或壓縮。

發明內容