[發明專利]自適應視頻解碼方法及其裝置

在審

• 申請號: 201711249237.3
• 申請日: 2017-12-01
• 公開（公告）號: CN108134941A
• 公開（公告）日: 2018-06-08
• 發明（設計）人: 蘇進發;呂立偉;周冠宏;王建章
• 申請（專利權）人: 聯發科技股份有限公司
• 主分類號: H04N19/597
• 分類號: H04N19/597;H04N19/17;H04N19/172;H04N19/44
• 代理公司: 北京市萬慧達律師事務所 11111
• 代理人: 白華勝;王蕊

本發明揭露一種自適應視頻解碼方法及其裝置，其中，該自適應視頻解碼方法用于360度視頻序列，該自適應視頻解碼方法包含：確定先前360度幀中的第一視圖區域，其中，該第一視圖區域與先前幀時刻的用戶的第一視場相關聯；基于用戶的視點信息，在當前360度幀中，根據該第一視圖區域確定擴展區域；以及解碼該當前360度幀中的該擴展區域。本發明提供的自適應視頻解碼方法及其裝置可改善用戶體驗。

交叉引用

本發明要求如下優先權：編號為62/428,571，申請日為2016年12月1日的美國臨時專利申請。上述美國臨時專利申請在此一并作為參考。

技術領域

本發明涉及一種360度視頻解碼及處理技術。特別地，本發明涉及一種用戶視場(field of view)中解碼360度虛擬現實(Virtual Reality，VR)視頻序列的視圖區域的方法。本發明揭露一種根據用戶視點(viewpoint)的自適應基于區域的視頻解碼技術以改善用戶視覺體驗。

背景技術

360度視頻(也稱為沉浸式視頻)是一種新興技術，其提供“身臨其境的感覺”。通過用戶周圍覆蓋全景的環繞式場景(尤其是，360度視場)，取得上述身臨其境的感覺。通過立體渲染進一步改善上述“身臨其境的感覺”。因此，將全景視頻廣泛應用于虛擬現實(VR)應用中。

沉浸式視頻涉及使用一個或多個攝像機捕捉場景以覆蓋全景，例如，360度視場。通常，沉浸式攝像機使用攝像機組合，其中，安排該攝像機組合捕捉360度視場。典型地，為沉浸式攝像機使用兩個或多個攝像機。同時拍攝所有視頻并且記錄場景的各個片段(也稱為單獨視圖)。此外，也安排攝像機組合水平捕捉視角，與此同時，對射線機的其他安排也是可能的。

當360度視頻提供全方位場景時，用戶經常僅觀察到有限視場。因此，解碼器僅需解碼每個360度幀的部分(例如，觀察區域)并且向用戶顯示360度幀的相關部分。然而，用戶并不總是觀看相同區域。在具體使用中，用戶會環顧四周，從而使得視場隨時發生改變。因此，需要解碼并顯示不同區域。圖1描述了用于觀察360度視頻序列的基于區域解碼的示例場景，其中，用戶從左到右移動其視點。幀110對應時刻T的360度幀，并且用戶正看向左側。在這種情況下，僅需解碼并顯示區域112。幀120對應時刻(T+1)的360度幀，并且用戶正看向中央。在這種情況下，僅需解碼并顯示區域122。幀130對應時刻(T+2)的360度幀，并且用戶正看向右側。在這種情況下，僅需解碼并顯示區域132。

根據3D投影模型(projection model)以及視場，確定需解碼及顯示的區域。圖2描述基于立體3D模型212的視場，確定視圖區域的示例。投影210顯示用戶正看向立方體右側的場景。立方體右側面的區域216對應與視場相關聯的區域。需要解碼并顯示相關區域214。接著，用戶轉向箭頭218指示的左側，以面對立方體的后部。在投影220中，立方體后側面的區域226對應與視場相關聯的區域。需要解碼并顯示對應區域224。

如上所述，基于區域解碼360度幀需要解碼視場，以響應用戶的當前視點。如果用戶穿著裝配3D運動傳感器的頭戴式顯示裝置，會自動檢測用戶的視點或視點運動。用戶也使用定點設備，指示用戶的視點。為了適應360視頻序列的不同視場，本領域發展出了各種3D編碼系統。例如，臉書公司發展出了金字塔編碼系統，其中，金字塔編碼系統輸出對應30個不同視場的30個比特流。然而，僅將可視視場作為主比特流。編碼主比特流以允許全分辨率渲染，與此同時，可在降低分辨率下編碼其他比特流。在圖3中，圖310描述對應可視視場的區域312。僅在全分辨率下編碼本區域。圖像320描述按照球面形式的360度幀示例。圖像330描述已選視場的示例，并且為本所選視場生成對應比特流。圖像340描述用于生成30個比特流的30個視場示例。