[發明專利]任意觀看角度的部分解碼及虛擬現實視頻的線幀緩存器降低

在審

• 申請號: 201680059890.0
• 申請日: 2016-10-13
• 公開（公告）號: CN108141611A
• 公開（公告）日: 2018-06-08
• 發明（設計）人: 林鴻志;張勝凱;黃昭智
• 申請（專利權）人: 聯發科技股份有限公司
• 主分類號: H04N19/597
• 分類號: H04N19/597;H04N19/426;H04N19/88
• 代理公司: 深圳市威世博知識產權代理事務所(普通合伙) 44280
• 代理人: 何青瓦

本發明公開了一種方法及裝置，其用于在視頻的子區域被選擇以用于觀看時對視頻幀進行部分解碼。本方法識別并解碼顯示子區域所需的視頻幀的數據單元和像素塊，而繞過被識別為顯示子區域所不需的數據單元和像素塊。視頻編碼器接收包括對應于全尺寸360度虛擬現實圖像的第一配置中的多個立方體表面。每個立方體表面對應于立方體的不同表面。編碼器通過根據不同于第一配置的第二配置將多個立方體表面重新排列，重新格式化接收到的視頻幀。第二配置重新排列立方體360度虛擬現實圖像的6個表面，以為了完全利用線緩存器，并允許線緩存器比全尺寸360度虛擬現實圖像窄。

交叉引用

本發明主張在2015年10月13日提出申請號為62/240,693的美國臨時專利申請和在2015年12月14日提出申請號為62/266,764的美國臨時專利申請的優先權，其整體以引用方式并入本文中。

技術領域

本發明通常涉及電子裝置中的視頻編碼和解碼，且更具體而言，涉及允許任意觀看角度或觀看區域的虛擬現實視頻應用。

背景技術

除非此處另有說明外，本部分所描述的方法相對于下面列出的權利要求而言不是現有技術，并且通過本部分的引入不被承認是現有技術。

360度虛擬現實(360-degree virtual reality，360VR)是變化的、增強的或者替代的環境的視聽模擬。視覺現實視頻環繞著用戶，使得用戶在向任何方向或者在任何任意觀看角度上朝周圍看時，感覺他或者她處于現實生活中。360VR視頻產生獨特的高質量且高分辨率的全景視頻，以在用于各種應用的打印和全景虛擬旅游產業中的使用，例如，娛樂、導向訓練(pilot training)、手術和在空間或者深水中的勘探。

發明內容

以下內容僅是示例性的，不用于以任何方式限制。也就是說，以下內容用于介紹本新穎且不明顯技術所描述的概念、亮點、優點和優點。在下面的具體實施方式中進一步描述實施方式。因此，以下內容并不旨區別所要求的主題的基本特征，也不用于確定所要求主題的范圍。

本發明一些實施例提供一種裝置及方法，其用于在視頻的子區域被選擇以用于觀看時對視頻幀進行部分解碼。具體地，根據本發明的方法或者裝置可以識別并解碼顯示子區域所需的視頻幀的數據單元和像素塊，而繞過被識別為顯示子區域所不需的數據單元和像素塊。

在一些實施例中，解碼器可以接收處于視頻幀序列中的多個已編碼視頻幀，其中每個視頻幀包括像素塊集。視頻幀序列可以包括主幀和參考主幀以用于編碼的從幀。解碼器可以接收在多個視頻幀中選擇特定視頻幀的子區域的規格。當特定視頻幀是主幀時，解碼器全解碼特定視頻幀。當特定視頻幀是從幀時，解碼器可以通過解碼特定視頻幀中包含由規格選擇的子區域的像素塊子集，部分解碼特定視頻幀。解碼器可以存儲特定視頻幀的已解碼的多個像素塊以用于顯示。

在一些實施例中，編碼器通過部分解碼最大化性能增益，例如，通過最小化從幀中幀內編解碼和/或幀內預測塊的數量，可以被約束成產生已編碼視頻。在一些實施例中，編碼器可以通過使用幀間預測，最小化從幀中幀內編解碼和/或幀內預測塊的數量。在一些實施例中，如果幀內預測塊的相鄰塊均是幀間預測塊，則編碼器可以允許幀內預測塊。

在一些實施例中，視頻編碼器可以接收球面格式或者立方體格式的360度虛擬現實視頻幀。當接收到的360度虛擬現實視頻幀處于立方體格式時，視頻幀具有多個立方體面，每個對應于立方體的不同面。視頻編碼器可以通過重新排列多個立方體面，重新格式化360度虛擬現實視頻幀。已重新格式化視頻幀的立方體面被排列成：(i)6個立方體面的單列、(ii)每列三個立方體面的兩列或者(iii)每行三個立方體面的兩行。

附圖說明