[發(fā)明專利]流控模型訓(xùn)練方法、裝置、計(jì)算機(jī)設(shè)備和存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202210265930.4
• 申請日: 2021-10-18
• 公開（公告）號: CN115996292A
• 公開（公告）日: 2023-04-21
• 發(fā)明（設(shè)計(jì)）人: 楊梁;黃飛
• 申請（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號: H04N19/146
• 分類號: H04N19/146;H04N19/192;H04L1/00;H04L47/20;G06N3/0475;G06N3/045;G06N3/09;G06N3/092;G06N3/094
• 代理公司: 華進(jìn)聯(lián)合專利商標(biāo)代理有限公司 44224
• 代理人: 楊歡

本申請涉及一種流控模型訓(xùn)練方法，包括：對于每個(gè)離線周期，基于當(dāng)前離線周期的離線樣本數(shù)據(jù)及基礎(chǔ)流控模型輸出的離線流控預(yù)測數(shù)據(jù)，生成下一離線周期的離線樣本數(shù)據(jù)；根據(jù)各離線周期的離線樣本數(shù)據(jù)確定各離線周期的離線累計(jì)獎(jiǎng)勵(lì)參考值；基于多個(gè)離線周期的離線樣本數(shù)據(jù)和離線累計(jì)獎(jiǎng)勵(lì)參考值，對基礎(chǔ)流控模型進(jìn)行離線周期滾動(dòng)訓(xùn)練得到中間流控模型；對于每個(gè)在線周期，通過當(dāng)前在線周期的在線樣本數(shù)據(jù)確定當(dāng)前在線周期的在線累計(jì)獎(jiǎng)勵(lì)參考值；基于多個(gè)在線周期的在線樣本數(shù)據(jù)和在線累計(jì)獎(jiǎng)勵(lì)參考值，對中間流控模型進(jìn)行在線周期滾動(dòng)訓(xùn)練，得到適用于多媒體通信過程中進(jìn)行流控?cái)?shù)據(jù)預(yù)測的目標(biāo)流控模型。采用本方法的目標(biāo)流控模型可以提高流控準(zhǔn)確性。

本申請是于2021年10月18日提交中國專利局，申請?zhí)枮?02111211909.8，發(fā)明名稱為“對多媒體數(shù)據(jù)進(jìn)行流控及流控模型訓(xùn)練方法、以及裝置”的分案申請，其全部內(nèi)容通過引用結(jié)合在本申請中。

技術(shù)領(lǐng)域

本申請涉及人工智能技術(shù)領(lǐng)域，特別是涉及一種流控模型訓(xùn)練方法、裝置、計(jì)算機(jī)設(shè)備和存儲介質(zhì)。

背景技術(shù)

隨著網(wǎng)絡(luò)技術(shù)的發(fā)展，越來越多的多媒體數(shù)據(jù)傳輸場景需要實(shí)時(shí)獲取網(wǎng)絡(luò)狀態(tài)，從而依據(jù)獲取的網(wǎng)絡(luò)狀態(tài)實(shí)現(xiàn)多媒體數(shù)據(jù)傳輸?shù)牧骺亍Ｒ远嗝襟w數(shù)據(jù)傳輸場景為語音或者視頻實(shí)時(shí)通話場景為例，語音或視頻實(shí)時(shí)通話通常是利用網(wǎng)絡(luò)RTC(Real-TimeCommunication，實(shí)時(shí)通話)所實(shí)現(xiàn)的。在RTC通話中，通常需要實(shí)時(shí)監(jiān)測網(wǎng)絡(luò)狀態(tài)，然后依據(jù)實(shí)時(shí)網(wǎng)絡(luò)狀態(tài)，修改整體通話的配置。例如，若網(wǎng)絡(luò)狀態(tài)好，則可以提高編碼碼率。因此，如何在多媒體數(shù)據(jù)傳輸中及時(shí)反饋復(fù)雜多變的網(wǎng)絡(luò)狀態(tài)是一個(gè)熱門課題。

在傳統(tǒng)方案中，目前自適應(yīng)碼率控制算法使用較多的是WebRtc中的GCC算法，也就是用于實(shí)時(shí)媒體通訊的網(wǎng)絡(luò)擁塞控制算法，但在實(shí)際使用GCC算法時(shí)會產(chǎn)生一定延時(shí)，且過度依賴經(jīng)驗(yàn)配置，使得實(shí)際控制中存在流控不準(zhǔn)確的問題。

發(fā)明內(nèi)容

基于此，有必要針對上述技術(shù)問題，提供一種能夠提升流控準(zhǔn)確度的流控模型訓(xùn)練方法、裝置、計(jì)算機(jī)設(shè)備和存儲介質(zhì)。

一種流控模型訓(xùn)練方法，方法包括：

獲取經(jīng)過多個(gè)預(yù)訓(xùn)練樣本組進(jìn)行預(yù)訓(xùn)練所得到的基礎(chǔ)流控模型；

對于離線訓(xùn)練中的每個(gè)離線周期，均基于當(dāng)前離線周期的離線樣本數(shù)據(jù)、以及基礎(chǔ)流控模型輸出的離線流控預(yù)測數(shù)據(jù)，生成下一離線周期的離線樣本數(shù)據(jù)；離線樣本數(shù)據(jù)包括離線編碼數(shù)據(jù)和離線通信狀態(tài)數(shù)據(jù)；

根據(jù)每一離線周期的離線樣本數(shù)據(jù)，確定每一離線周期的離線累計(jì)獎(jiǎng)勵(lì)參考值；

基于多個(gè)離線周期各自對應(yīng)的離線樣本數(shù)據(jù)和離線累計(jì)獎(jiǎng)勵(lì)參考值，對基礎(chǔ)流控模型進(jìn)行離線周期滾動(dòng)訓(xùn)練，直至達(dá)到離線訓(xùn)練停止條件時(shí)停止，得到中間流控模型；

對于在線訓(xùn)練中的每個(gè)在線周期，均通過當(dāng)前在線周期的在線樣本數(shù)據(jù)，確定當(dāng)前在線周期的在線累計(jì)獎(jiǎng)勵(lì)參考值；

基于多個(gè)在線周期各自對應(yīng)的在線樣本數(shù)據(jù)和在線累計(jì)獎(jiǎng)勵(lì)參考值，對中間流控模型進(jìn)行在線周期滾動(dòng)訓(xùn)練，直至達(dá)到在線訓(xùn)練停止條件時(shí)停止，得到適用于在多媒體通信過程中進(jìn)行流控?cái)?shù)據(jù)預(yù)測的目標(biāo)流控模型。

一種流控模型訓(xùn)練裝置，該裝置包括：

獲取模塊，用于獲取經(jīng)過多個(gè)預(yù)訓(xùn)練樣本組進(jìn)行預(yù)訓(xùn)練所得到的基礎(chǔ)流控模型；

生成模塊，用于對于離線訓(xùn)練中的每個(gè)離線周期，均基于當(dāng)前離線周期的離線樣本數(shù)據(jù)、以及基礎(chǔ)流控模型輸出的離線流控預(yù)測數(shù)據(jù)，生成下一離線周期的離線樣本數(shù)據(jù)；離線樣本數(shù)據(jù)包括離線編碼數(shù)據(jù)和離線通信狀態(tài)數(shù)據(jù)；

第一確定模塊，用于根據(jù)每一離線周期的離線樣本數(shù)據(jù)，確定每一離線周期的離線累計(jì)獎(jiǎng)勵(lì)參考值；