[發明專利]全景視頻的碼率分配方法、裝置、移動終端及存儲介質

有效

• 申請號: 202011337673.8
• 申請日: 2020-11-25
• 公開（公告）號: CN112468828B
• 公開（公告）日: 2022-06-17
• 發明（設計）人: 張磊;索琰琰;伍曦明;崔來中
• 申請（專利權）人: 深圳大學
• 主分類號: H04N21/218
• 分類號: H04N21/218;H04N21/2343;H04N21/442
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 潘登

本發明實施例公開了一種全景視頻的碼率分配方法、裝置、移動終端及存儲介質。該方法包括：實時采集歷史用戶視區預測誤差度數；根據歷史用戶視區預測誤差度數確定最佳圖塊切分方式；根據最佳圖塊切分方式確定當前預測用戶視區內的目標圖塊以及目標圖塊的權重；將目標圖塊的權重代入預設最大化體驗質量模型，并根據預設最大化體驗質量模型確定需要下載的目標視頻片段以及目標視頻片段的碼率。本發明實施例所提供的技術方案，實現了對預測誤差更好的容忍，降低了視區預測誤差的影響，克服了移動終端上難以準確預測用戶視區的問題，從而減少了用戶觀看中的卡頓，提升了用戶的體驗質量。

技術領域

本發明實施例涉及視頻編碼技術領域，尤其涉及一種全景視頻的碼率分配方法、裝置、移動終端及存儲介質。

背景技術

近年來，全景視頻走進千家萬戶，因其具有全景特性，可以給觀看者帶來獨特的觀看體驗，使其越來越受用戶的喜愛。但是全景特性也使全景視頻在相同的感知質量下比傳統視頻大得多，所以傳輸全景視頻需要消耗更多的帶寬，這在無線網絡中是非常困難的。其次，與傳統視頻相比，全景視頻給資源有限的移動終端帶來了更高的計算、電池等開銷，這極大的降低了全景視頻在移動終端的體驗質量以及普及速度。然而，當用戶觀看全景視頻時，同一時刻只能看到球面圖像中的有限部分，這一部分由用戶的視區決定。為此，可以將全景視頻的每一幀切分為更小的非重疊矩形區域(圖塊)，由于每個圖塊都是可獨立傳輸并解碼的，所以移動終端只需要下載并解碼用戶視區內的圖塊即可保證用戶的體驗質量，同時也可以大幅的節省帶寬并降低移動終端的資源消耗。

現有的基于圖塊的全景視頻傳輸方法主要是采用固定的圖塊切分方式，當圖塊切分完成后再根據當前的預測視區以及帶寬和緩沖區的占用情況調整要下載的圖塊及其碼率。

但是，這種采用固定的圖塊切分方式以及依據用戶視區調整要下載的圖塊的全景視頻傳輸方法，其最重要的前提條件是可以準確的預測用戶未來的視區，但是這對于移動終端來說是比較困難的，因為在現有的全景視頻傳輸方法中為了保證預測算法在移動終端上運行的足夠快，以滿足全景視頻流的實時性要求，通常在移動終端上部署的都是輕量級的預測算法，從而導致了預測結果準確率低下的問題，也更容易受到視頻類型的影響。因此，若用戶未來的視區預測錯誤，則會導致移動終端未能提前下載用戶視區內的某些圖塊，則對于用戶的觀看會出現卡頓現象，從而嚴重影響用戶的體驗質量。

發明內容

本發明實施例提供一種全景視頻的碼率分配方法、裝置、移動終端及存儲介質，以降低視區預測誤差的影響，克服移動終端上難以準確預測用戶視區的問題，減少用戶觀看中的卡頓，提升用戶的體驗質量。

第一方面，本發明實施例提供了一種全景視頻的碼率分配方法，該方法包括：

實時采集歷史用戶視區預測誤差度數；

根據所述歷史用戶視區預測誤差度數確定最佳圖塊切分方式；

根據所述最佳圖塊切分方式確定當前預測用戶視區內的目標圖塊以及所述目標圖塊的權重；

將所述目標圖塊的權重代入預設最大化體驗質量模型，并根據所述預設最大化體驗質量模型確定需要下載的目標視頻片段以及所述目標視頻片段的碼率。

第二方面，本發明實施例還提供了一種全景視頻的碼率分配裝置，該裝置包括：

歷史誤差采集模塊，用于實時采集歷史用戶視區預測誤差度數；

切分方式確定模塊，用于根據所述歷史用戶視區預測誤差度數確定最佳圖塊切分方式；

圖塊權重確定模塊，用于根據所述最佳圖塊切分方式確定當前預測用戶視區內的目標圖塊以及所述目標圖塊的權重；

碼率確定模塊，用于將所述目標圖塊的權重代入預設最大化體驗質量模型，并根據所述預設最大化體驗質量模型確定需要下載的目標視頻片段以及所述目標視頻片段的碼率。