[發明專利]基于強化學習的實時視頻碼率自適應調控方法與系統

有效

• 申請號: 202010762530.5
• 申請日: 2020-07-31
• 公開（公告）號: CN111901642B
• 公開（公告）日: 2022-09-30
• 發明（設計）人: 陳浩;張欣宇;馬展;朱勇
• 申請（專利權）人: 成都云格致力科技有限公司
• 主分類號: H04N21/2662
• 分類號: H04N21/2662;H04N21/2343;H04N21/24;G06N3/08
• 代理公司: 成都佳劃信知識產權代理有限公司 51266
• 代理人: 史姣姣

本發明公開了一種基于強化學習的實時視頻碼率自適應調控方法，包括以下步驟：將采集的圖像進行編碼獲得二進制視頻流；將二進制視頻流打包成當前網絡傳輸協議對應的數據包；對數據包進行解析和視頻解碼播放，并反饋當前網絡的網絡QoS參數和播放狀態；根據當前網絡的網絡QoS參數和播放狀態進行碼率自適應算法模型訓練，得到下一個時刻視頻塊的比特率；根據下一個時刻視頻塊的比特率進行視頻編碼比特率的調整。本發明還提供了一種采用基于強化學習的實時視頻碼率自適應調控方法的系統。通過上述方案，本發明具有邏輯簡單、提升了用戶QoE和網絡利用率等優點。

技術領域

本發明涉及實時視頻通信技術領域，尤其是基于強化學習的實時視頻碼率自適應調控方法與系統。

背景技術

近年來，網絡視頻尤其是實時網絡視頻迎來了爆發式的流量增長，給IP網絡帶來了巨大的傳輸壓力。在實時網絡視頻應用中，典型的如視頻通話、云游戲、云虛擬現實等，視頻在發送端實時采集、壓縮和編碼，并通過互聯網流化傳輸到接收端。而傳輸中網絡丟包、延遲、擁塞等問題仍然是影響用戶享受高質量視頻流服務的龐大阻力，如何設計合理的碼率自適應技術成為當前解決此問題的重要手段。

目前，現有技術中廣泛部署和應用的碼率自適應算法包括GCC(GoogleCongestion Control)、BBR(Bottleneck Bandwidth and Round-trip propagationtime)。上述碼率自適應算法通常包括擁塞檢測、慢啟動和快速恢復，使用底層的擁塞控制信號指導上層視頻碼率的動態調整。

另外，由于實時視頻流要求將延遲限制在毫秒級，現有基于HTTP的視頻流系統，如HLS(HTTP Live Streaming)和DASH(Dynamic Adaptive Streaming over HTTP)，均使用塊級(chunk-level)的媒體切分顆粒度，需要提前準備的視頻片段,引入了額外延遲，不適合實時視頻流。因此，傳統的基于緩沖區、基于速率甚至基于學習的HTTP協議碼率自適應算法不適合視頻通話、云游戲、云VR等低延遲/實時視頻場景。

在現有的主流的實時流媒體系統中，視頻會話建立后，視頻服務器首先將壓縮視頻流傳輸到流媒體服務器，隨后流媒體服務器將視頻流轉發到客戶端。客戶端定期將其播放狀態和當前網絡服務質量(Quality of Service，QoS)參數返回給流媒體服務器。流媒體服務器使用碼率自適應算法，將目標比特率輸出到視頻服務器進行視頻碼率調整。這些碼率自適應算法通常使用各種不同的輸入(如播放狀態和網絡QoS參數)來改變未來視頻流的比特率。在這種實時流媒體系統中，客戶端需要立即播放接收到的視頻最新幀，以保證實時交互。為了滿足低延遲的需求，當客戶端在一段時間內沒有收到新的視頻幀時，會請求流媒體服務器強制編碼出瞬時解碼刷新(Instantaneous Decoding Refresh，IDR)或隨機訪問幀，以便重新開始新的圖像組(Group of Pictures，GoP)。

碼率自適應算法生成的控制策略嚴重影響視頻流性能。對于實時交互方案，用戶的體驗質量(Quality of Experience，QoE)很大程度上取決于視頻的流化傳輸性能。現有的ABR(可用比特率:available bit-rate)算法面臨著多個主要現實挑戰。在這些算法中，僅考慮網絡QoS參數來生成控制策略(例如GCC僅考慮延遲和丟包率以執行擁塞控制和碼率自適應)，但無法在不同網絡中獲得一致的用戶QoE。

現有算法主要是采用啟發式算法，對底層網絡的了解和學習非常有限，故而需要不斷調整視頻碼率以避免視頻卡頓和提高視頻質量。當沒有網絡擁塞發生時，他們通過以保守步長不斷提高比特率以實現更高的視頻質量。一旦出現網絡擁塞或者比特率調整超過了可用帶寬，視頻流化性能就會急劇下降，碼率自適應算法需要將視頻比特率降低到非常低的水平。隨后網絡狀況變好時，視頻比特率將以較低水平開始，觸發另一輪保守的比特率增長。由于現有算法(例如GCC)不了解底層網絡，因此往往會陷入這種惡性循環中，導致網絡利用率較低的同時，用戶QoE也非常差。