[發(fā)明專利]基于強(qiáng)化學(xué)習(xí)的實(shí)時(shí)視頻碼率自適應(yīng)調(diào)控方法與系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010762530.5
• 申請(qǐng)日: 2020-07-31
• 公開（公告）號(hào): CN111901642B
• 公開（公告）日: 2022-09-30
• 發(fā)明（設(shè)計(jì)）人: 陳浩;張欣宇;馬展;朱勇
• 申請(qǐng)（專利權(quán)）人: 成都云格致力科技有限公司
• 主分類號(hào): H04N21/2662
• 分類號(hào): H04N21/2662;H04N21/2343;H04N21/24;G06N3/08
• 代理公司: 成都佳劃信知識(shí)產(chǎn)權(quán)代理有限公司 51266
• 代理人: 史姣姣

1.基于強(qiáng)化學(xué)習(xí)的實(shí)時(shí)視頻碼率自適應(yīng)調(diào)控方法，其特征在于，包括以下步驟：

將采集的圖像進(jìn)行編碼獲得二進(jìn)制視頻流；

將二進(jìn)制視頻流打包成當(dāng)前網(wǎng)絡(luò)傳輸協(xié)議對(duì)應(yīng)的數(shù)據(jù)包；

對(duì)數(shù)據(jù)包進(jìn)行解析和視頻解碼播放，并反饋當(dāng)前網(wǎng)絡(luò)的網(wǎng)絡(luò)QoS參數(shù)和播放狀態(tài)；

根據(jù)當(dāng)前網(wǎng)絡(luò)的網(wǎng)絡(luò)QoS參數(shù)和播放狀態(tài)進(jìn)行碼率自適應(yīng)算法模型訓(xùn)練，得到下一個(gè)時(shí)刻視頻塊的比特率；

根據(jù)下一個(gè)時(shí)刻視頻塊的比特率進(jìn)行視頻編碼比特率的調(diào)整；所述碼率自適應(yīng)算法模型采用DQN框架、Q-Learning框架、A3C框架其中之一進(jìn)行訓(xùn)練所得；所述碼率自適應(yīng)算法模型采用A3C框架訓(xùn)練所得，所述A3C框架包括行動(dòng)者網(wǎng)絡(luò)和評(píng)論家網(wǎng)絡(luò)，且碼率自適應(yīng)算法模型訓(xùn)練包括以下步驟：

獲取當(dāng)前的播放與網(wǎng)絡(luò)狀態(tài)S₀；

利用行動(dòng)者網(wǎng)絡(luò)對(duì)當(dāng)前的播放與網(wǎng)絡(luò)狀態(tài)S₀做出應(yīng)激反應(yīng)；并且利用評(píng)論家網(wǎng)絡(luò)對(duì)當(dāng)前的播放與網(wǎng)絡(luò)狀態(tài)S₀進(jìn)行評(píng)分，根據(jù)應(yīng)激反應(yīng)和評(píng)分得到網(wǎng)絡(luò)修正因子；

根據(jù)網(wǎng)絡(luò)修正因子求得行動(dòng)者網(wǎng)絡(luò)和評(píng)論家網(wǎng)絡(luò)的任一神經(jīng)元的修正梯度；

采用離線或離線-在線進(jìn)行訓(xùn)練，以得到碼率自適應(yīng)算法模型；所述采用離線或離線-在線進(jìn)行訓(xùn)練，均包括以下步驟：

利用學(xué)習(xí)代理以適配當(dāng)前網(wǎng)絡(luò)的比特率進(jìn)行視頻流傳輸；

利用當(dāng)前網(wǎng)絡(luò)向?qū)W習(xí)代理提供網(wǎng)絡(luò)QoS參數(shù)和播放狀態(tài)的兩類狀態(tài)S_t；

利用當(dāng)前網(wǎng)絡(luò)向?qū)W習(xí)代理獎(jiǎng)勵(lì)R_t，并利用獎(jiǎng)勵(lì)R_t構(gòu)建用戶QoE參數(shù)函數(shù)，求得下一動(dòng)作的比特率。

2.根據(jù)權(quán)利要求1所述的基于強(qiáng)化學(xué)習(xí)的實(shí)時(shí)視頻碼率自適應(yīng)調(diào)控方法，其特征在于，所述網(wǎng)絡(luò)QoS參數(shù)包括往返時(shí)間、接收比特率、丟包率、重發(fā)包計(jì)數(shù)；且所述播放狀態(tài)包括已接收幀率、最大接收幀間隔和最小接收幀間隔。

3.根據(jù)權(quán)利要求1所述的基于強(qiáng)化學(xué)習(xí)的實(shí)時(shí)視頻碼率自適應(yīng)調(diào)控方法，其特征在于，所述學(xué)習(xí)代理采用數(shù)個(gè)，且還包括有一中央學(xué)習(xí)代理；數(shù)個(gè)所述學(xué)習(xí)代理對(duì)A3C框架進(jìn)行獨(dú)立訓(xùn)練，并得到元組(S_t,A_t,R_t)；將所述元組(S_t,A_t,R_t)匯總至中央學(xué)習(xí)代理并進(jìn)行模型參數(shù)更新。

4.根據(jù)權(quán)利要求3所述的基于強(qiáng)化學(xué)習(xí)的實(shí)時(shí)視頻碼率自適應(yīng)調(diào)控方法，其特征在于，所述離線訓(xùn)練還包括以下步驟：

利用初始階段的碼率自適應(yīng)算法模型作為動(dòng)態(tài)調(diào)控視頻的編碼碼率；

采用碼率自適應(yīng)算法模型的碼率決策及決策后產(chǎn)生的狀態(tài)集對(duì)模型進(jìn)行循環(huán)更新。

5.根據(jù)權(quán)利要求4所述的基于強(qiáng)化學(xué)習(xí)的實(shí)時(shí)視頻碼率自適應(yīng)調(diào)控方法，其特征在于，所述離線-在線訓(xùn)練，包括以下步驟：

步驟S1，判斷訓(xùn)練的碼率自適應(yīng)算法模型的模型數(shù)據(jù)庫(kù)是否為空，若是，則采用離線訓(xùn)練所得的默認(rèn)模型進(jìn)行碼率決策，所述默認(rèn)模型中含有離線訓(xùn)練所得的預(yù)訓(xùn)練模型；否則，進(jìn)入步驟S2；

步驟S2，利用碼率決策及決策后產(chǎn)生的狀態(tài)集對(duì)當(dāng)前的網(wǎng)絡(luò)模式進(jìn)行判斷，所述碼率決策及決策后產(chǎn)生的狀態(tài)集包括平均碼率和碼率方差；若當(dāng)前的網(wǎng)絡(luò)模式的平均碼率和碼率方差未大于預(yù)設(shè)的閥值，則繼續(xù)采用默認(rèn)模型進(jìn)行碼率決策；否則，進(jìn)入步驟S3；

步驟S3，判斷模型數(shù)據(jù)庫(kù)是否有匹配當(dāng)前網(wǎng)絡(luò)的模型，若有，則讀取對(duì)應(yīng)的模型；否則，進(jìn)入步驟S4；

步驟S4，采用當(dāng)前網(wǎng)絡(luò)的碼率決策及決策后產(chǎn)生的狀態(tài)集對(duì)默認(rèn)模型進(jìn)行更新，直至網(wǎng)絡(luò)QoS參數(shù)的最大值大于預(yù)設(shè)的閥值。

6.一種采用權(quán)利要求1～5任一項(xiàng)所述的基于強(qiáng)化學(xué)習(xí)的實(shí)時(shí)視頻碼率自適應(yīng)調(diào)控方法的系統(tǒng)，其特征在于，包括：

視頻服務(wù)器，將采集的圖像進(jìn)行編碼獲得二進(jìn)制視頻流，

流服務(wù)器，與視頻服務(wù)器連接，用于將視頻服務(wù)器編碼的二進(jìn)制視頻流打包成當(dāng)前網(wǎng)絡(luò)傳輸協(xié)議對(duì)應(yīng)的數(shù)據(jù)包；

以及播放終端，與流服務(wù)器連接，對(duì)數(shù)據(jù)包進(jìn)行解析和視頻解碼播放，并反饋當(dāng)前網(wǎng)絡(luò)的網(wǎng)絡(luò)QoS參數(shù)和播放狀態(tài)；

所述播放終端向流服務(wù)器反饋網(wǎng)絡(luò)QoS參數(shù)和播放狀態(tài)；所述流服務(wù)器根據(jù)當(dāng)前網(wǎng)絡(luò)的網(wǎng)絡(luò)QoS參數(shù)和播放狀態(tài)進(jìn)行碼率自適應(yīng)算法模型訓(xùn)練，得到下一個(gè)時(shí)刻視頻塊的比特率；

所述視頻服務(wù)器根據(jù)下一個(gè)時(shí)刻視頻塊的比特率進(jìn)行視頻編碼比特率的調(diào)整。