[發明專利]碼率決策模型訓練方法、裝置、電子設備及存儲介質

在審

• 申請號: 202010046898.1
• 申請日: 2020-01-16
• 公開（公告）號: CN113132765A
• 公開（公告）日: 2021-07-16
• 發明（設計）人: 周超
• 申請（專利權）人: 北京達佳互聯信息技術有限公司
• 主分類號: H04N21/2662
• 分類號: H04N21/2662;H04N21/4402;H04N21/262;G06N3/08
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 寧立存

本公開關于一種碼率決策模型訓練方法、裝置、電子設備及存儲介質，屬于數據處理領域，方法包括：電子設備將網絡吞吐量、緩沖區仿真模塊的時間長度變化信息以及上一個碼率決策時刻的目標決策碼率輸入到待訓練碼率決策模型中，待訓練碼率決策模型輸出多個第一決策碼率對應的第一概率，基于第一概率確定目標決策碼率。電子設備基于目標決策碼率以及下一個視頻數據傳輸時刻的網絡吞吐量和緩沖區仿真模塊的時間長度變化信息來確定對于目標決策碼率的第一評價值，基于第一評價值，更新待訓練碼率決策模型的模型參數。通過本公開提供的碼率決策模型訓練方法，電子設備可以基于仿真交互環境來加速待訓練碼率決策模型的訓練進程，提高了模型的訓練速度。

技術領域

本公開涉及數據處理領域，尤其涉及一種碼率決策模型訓練方法、裝置、電子設備及存儲介質。

背景技術

網絡波動對于視頻直播領域來說有十分巨大的影響，為了能在保持一定的清晰度的同時避免卡頓，電子設備需要根據網絡波動情況來調整視頻流碼率。

相關技術中，視頻碼率控制一般采用下述方法：調整電子設備所發送的視頻數據的碼率，以使客戶端緩存的視頻時長維持在一個給定范圍內，例如，將客戶端的緩存的直播視頻時長維持在10s-20s之間，當緩存的直播視頻時長小于10s時，則降低傳輸的碼率，降低視頻的清晰度，使得相同的視頻數據包中攜帶時長更長的直播視頻；當緩存的直播視頻時長大于20s時，則提高傳輸的碼率，提高視頻的清晰度，使得相同的視頻數據包中攜帶時短更長的直播視頻。

但是，上述基于定值和經驗對碼率調整的方法會導致碼率波動劇烈且調整頻繁，不僅會造成顯示效果的問題，而且還會大量占用電子設備的計算資源，影響其正常運行。

發明內容

本公開提供一種碼率決策模型訓練方法、裝置、電子設備及存儲介質，以至少改善相關技術中顯示效果差以及對正常運行的影響問題。本公開的技術方案如下：

根據本公開實施例的第一方面，提供一種碼率決策模型訓練方法，包括：

將第一時刻的網絡吞吐量、所述第一時刻的仿真交互環境中的緩沖區仿真模塊的時間長度變化信息以及第二時刻的目標決策碼率同時輸入到待訓練碼率決策模型中，由所述待訓練碼率決策模型輸出多個第一決策碼率對應的多個第一概率，其中，所述第二時刻為所述第一時刻的上一個碼率決策時刻；

將第一概率符合第一目標條件的第一決策碼率確定為所述第一時刻的目標決策碼率；

將所述第一時刻的目標決策碼率輸入所述仿真交互環境，獲取第三時刻的仿真交互環境中的緩沖區仿真模塊的時間長度變化信息，其中，所述第三時刻為所述第一時刻的下一個視頻數據傳輸時刻；

基于所述第三時刻的網絡吞吐量、所述第三時刻的仿真交互環境中的緩沖區仿真模塊的時間長度變化信息以及所述第一時刻的目標決策碼率，獲取所述第一時刻的目標決策碼率的第一評價值；

基于所述第一評價值，更新所述待訓練碼率決策模型的模型參數，直至任一迭代過程滿足第一迭代結束條件，則將滿足所述第一迭代結束條件的迭代過程所得到的待訓練碼率決策模型確定為碼率決策模型。

在一種可能的實施方式中，所述仿真交互環境還包括編碼器仿真模塊以及發送仿真模塊，所述將所述第一時刻的目標決策碼率輸入所述仿真交互環境，獲取第三時刻的仿真交互環境中的緩沖區仿真模塊的時間長度變化信息包括：

將所述第一時刻的目標決策碼率輸入所述編碼器仿真模塊，由所述編碼器仿真模塊向所述緩沖區仿真模塊發送所述第一時刻的目標決策碼率的視頻數據；

基于所述發送仿真模塊所指示的速率從所述緩沖區仿真模塊中提取所述視頻數據；

基于所述緩沖區仿真模塊在所述第一時刻和所述第三時刻存儲所述視頻數據的容量差，獲取所述第三時刻的緩沖區仿真模塊的時間長度變化信息。