[發明專利]流控模型訓練方法、裝置、計算機設備和存儲介質

在審

• 申請號: 202210265930.4
• 申請日: 2021-10-18
• 公開（公告）號: CN115996292A
• 公開（公告）日: 2023-04-21
• 發明（設計）人: 楊梁;黃飛
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: H04N19/146
• 分類號: H04N19/146;H04N19/192;H04L1/00;H04L47/20;G06N3/0475;G06N3/045;G06N3/09;G06N3/092;G06N3/094
• 代理公司: 華進聯合專利商標代理有限公司 44224
• 代理人: 楊歡

1.一種流控模型訓練方法，其特征在于，所述方法包括：

獲取經過多個預訓練樣本組進行預訓練所得到的基礎流控模型；

對于離線訓練中的每個離線周期，均基于當前離線周期的離線樣本數據、以及基礎流控模型輸出的離線流控預測數據，生成下一離線周期的離線樣本數據；所述離線樣本數據包括離線編碼數據和離線通信狀態數據；

根據每一離線周期的離線樣本數據，確定每一離線周期的離線累計獎勵參考值；

基于多個離線周期各自對應的離線樣本數據和離線累計獎勵參考值，對所述基礎流控模型進行離線周期滾動訓練，直至達到離線訓練停止條件時停止，得到中間流控模型；

對于在線訓練中的每個在線周期，均通過當前在線周期的在線樣本數據，確定當前在線周期的在線累計獎勵參考值；

基于多個在線周期各自對應的在線樣本數據和在線累計獎勵參考值，對所述中間流控模型進行在線周期滾動訓練，直至達到在線訓練停止條件時停止，得到適用于在多媒體通信過程中進行流控數據預測的目標流控模型。

2.根據權利要求1所述的方法，其特征在于，所述基礎流控模型包括行為預測網絡和行為評價網絡，所述行為預測網絡和所述行為評價網絡共享編碼結構，所述行為預測網絡還包括多頭分類結構，所述行為評價網絡還包括單任務處理結構；所述編碼結構包括依次連接的至少一個自注意力模組，每個自注意力模組均包括多頭注意力層和前向處理層。

3.根據權利要求1所述的方法，其特征在于，所述基礎流控模型通過預訓練得到，所述預訓練的步驟包括：

將歷史上報數據中對應相同歷史周期的歷史通信狀態數據和歷史編碼數據，組成歷史樣本數據；

對于當前歷史周期，基于當前歷史周期的下一歷史周期的歷史編碼數據，確定與當前歷史周期對應的歷史流控參考數據，并根據當前歷史周期的歷史樣本數據，確定與當前歷史周期對應的歷史累計獎勵參考值；

將對應相同歷史周期的歷史樣本數據、歷史流控參考數據和歷史累計獎勵參考值，作為一組預訓練樣本組；

根據多組預訓練樣本組對待訓練的初始流控模型進行預訓練，直至達到預訓練停止條件時停止，得到基礎流控模型。

4.根據權利要求3所述的方法，其特征在于，所述根據多組預訓練樣本組對待訓練的初始流控模型進行預訓練，直至達到預訓練停止條件時停止，得到基礎流控模型，包括：

基于待訓練的初始流控模型中的行為預測網絡，對預訓練樣本組中的歷史樣本數據進行處理，輸出歷史流控預測數據；

根據每一預訓練樣本組對應的歷史流控預測數據及歷史流控參考數據，確定第一交叉熵損失；

基于待訓練的初始流控模型中的行為評價網絡，對所述預訓練樣本組中的歷史樣本數據進行處理，輸出歷史累計獎勵預測值；

根據所述歷史累計獎勵預測值及相應的歷史累計獎勵參考值間的差異，確定第一獎勵損失；

基于所述第一交叉熵損失及所述第一獎勵損失，構建預訓練損失函數；

通過所述預訓練損失函數，對所述初始流控模型進行預訓練，直至達到預訓練停止條件時停止，得到所述基礎流控模型。

5.根據權利要求1所述的方法，其特征在于，所述離線樣本數據包括編碼碼率和卡頓率，所述根據每一離線周期的離線樣本數據，確定每一離線周期的離線累計獎勵參考值，包括：

對于當前離線周期，根據所述當前離線周期的編碼碼率，確定所述當前離線周期的清晰度；

根據所述當前離線周期的卡頓率，確定所述當前離線周期的流暢度；

根據所述當前離線周期的編碼碼率及所述當前離線周期的下一離線周期的編碼碼率，確定所述當前離線周期的平滑度；

根據所述當前離線周期的清晰度、流暢度、平滑度、視頻無質量參考分及音頻無質量參考分，計算所述當前離線周期的離線獎勵參考值；

基于下一離線周期的離線累計獎勵參考值、以及所述當前離線周期的離線獎勵參考值，確定所述當前離線周期的離線累計獎勵參考值。