[發明專利]面向交互視頻傳輸質量提升的混合學習方法、裝置及設備

有效

• 申請號: 202010954328.2
• 申請日: 2020-09-11
• 公開（公告）號: CN112367490B
• 公開（公告）日: 2021-05-25
• 發明（設計）人: 張歡歡;周安福;張新宇;馬華東
• 申請（專利權）人: 北京郵電大學
• 主分類號: H04N7/14
• 分類號: H04N7/14;H04N21/647
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 馬敬;項京

本發明實施例提供了面向交互視頻傳輸質量提升的混合學習方法、裝置及電子設備，方法包括：針對當前傳輸時隙，獲取上一傳輸時隙的傳輸參數及包間延遲序列；將上一傳輸時隙的傳輸參數輸入碼率預測深度強化學習模型，確定第一備選傳輸碼率；基于包間延遲序列所表示的包間延遲趨勢確定網絡狀態標識值；確定當前傳輸時隙的網絡狀態閾值；如果網絡狀態標識值不大于當前傳輸時隙的網絡狀態閾值，基于第一備選傳輸碼率發送數據包；如果網絡狀態標識值大于當前傳輸時隙對應的網絡狀態閾值，基于傳輸碼率調整規則、上一傳輸時隙的傳輸碼率及傳輸參數確定第二備選傳輸碼率，基于第二備選傳輸碼率發送數據包。采用本發明實施例可以提高視頻通話的質量。

技術領域

本發明涉及通信技術領域，特別是涉及一種面向交互視頻傳輸質量提升的混合學習方法、裝置及設備。

背景技術

隨著通信技術的迅速發展，視頻通話已經成為人們生活中不可或缺的一部分。然而，在視頻通話的過程中，由于視頻通話的傳輸碼率不合適導致通話質量下降的情況時有出現，例如，當視頻通話的傳輸碼率不合適時會出現視頻卡頓、視頻圖像模糊等問題。為了提高視頻通話的通話質量，確定合適的視頻通話的傳輸碼率的方法應運而生。

目前，合適的視頻通話傳輸碼率是通過碼率預測模型確定的。具體來說，在確定當前傳輸時隙合適的傳輸碼率時，電子設備可以獲取上一傳輸時隙的丟包率、包間延遲、吞吐量及傳輸碼率等傳輸參數，然后將上一傳輸時隙的傳輸參數輸入碼率預測模型，確定當前傳輸時隙合適的傳輸碼率，進而發送端可以按照確定的傳輸碼率向接收端發送視頻數據。其中，傳輸時隙即為發送端發送視頻數據的時間段。

上述碼率預測模型為采用trial-and-error(試錯法)進行學習的在線強化學習模型。例如，當通過碼率預測模型確定的傳輸碼率不合適時會導致通話質量急劇下降，在這種情況下，可以通過丟包率、包間延遲、吞吐量等傳輸參數計算獎勵函數值，然后基于獎勵函數調整碼率預測模型的參數，以避免碼率預測模型再次出現確定的傳輸碼率不合適的情況。但在實時視頻通話的過程中，采用上述碼率預測模型預測傳輸碼率的方式無法避免預測的傳輸碼率不合適、不魯棒等情況出現，這會造成視頻通話的通話質量較低。

發明內容

本發明實施例的目的在于提供一種面向交互視頻傳輸質量提升的混合學習方法、裝置及電子設備，以確定合適的傳輸碼率，提高通話質量。具體技術方案如下：

第一方面，本發明實施例提供了一種面向交互視頻傳輸質量提升的混合學習方法，所述方法包括：

針對視頻通話的當前傳輸時隙，獲取上一傳輸時隙的傳輸參數及包間延遲序列，其中，所述包間延遲序列為所述當前傳輸時隙之前接收端所接收到的預設數量的數據包中相鄰數據包之間的包間延遲對應的序列；

將所述上一傳輸時隙的傳輸參數輸入碼率預測模型，確定所述當前傳輸時隙的備選傳輸碼率，作為第一備選傳輸碼率，其中，所述碼率預測模型為基于各個傳輸時隙對應的獎勵函數值調整模型參數得到的強化學習模型，所述每個傳輸時隙對應的獎勵函數值為根據該傳輸時隙的傳輸參數確定的，所述碼率預測模型包括傳輸參數與備選傳輸碼率之間的對應關系；

基于所述包間延遲序列所表示的包間延遲趨勢，確定所述當前傳輸時隙對應的網絡狀態標識值；

基于所述網絡狀態標識值及所述上一傳輸時隙對應的網絡狀態閾值，確定所述當前傳輸時隙對應的網絡狀態閾值，其中，所述網絡狀態閾值的初始值為基于歷史通話的包間延遲確定的；

如果所述網絡狀態標識值不大于所述當前傳輸時隙對應的網絡狀態閾值，基于所述第一備選傳輸碼率向接收端發送數據包；

如果所述網絡狀態標識值大于所述當前傳輸時隙對應的網絡狀態閾值，基于預設的傳輸碼率調整規則、所述上一傳輸時隙的傳輸碼率及所述上一傳輸時隙的傳輸參數，確定所述當前傳輸時隙的備選傳輸碼率，作為第二備選傳輸碼率，并基于所述第二備選傳輸碼率向接收端發送數據包，其中，所述傳輸碼率調整規則為降低傳輸碼率的規則。