[發明專利]一種基于Q學習的無線網絡視頻傳輸自適應控制方法

有效

• 申請號: 201810372915.3
• 申請日: 2018-04-24
• 公開（公告）號: CN108391143B
• 公開（公告）日: 2020-10-27
• 發明（設計）人: 朱曉榮;董天才;邵喆丹
• 申請（專利權）人: 南京郵電大學
• 主分類號: H04N21/2662
• 分類號: H04N21/2662;H04N21/238;H04W28/22;H04W28/24;H04L12/825
• 代理公司: 南京瑞弘專利商標事務所(普通合伙) 32249
• 代理人: 楊曉玲

本發明公開了一種基于Q學習的無線網絡視頻傳輸自適應控制方法，針對目前無線視頻傳輸系統不能自適應調節傳輸速率提升用于體驗的問題，該方法聯合考慮了接收端緩沖區長度、網絡狀況以及用戶服務質量體驗(體驗質量QoE)，建立了基于馬爾科夫決策的視頻傳輸控制模型，形成一個體驗質量QoE驅動的的視頻傳輸閉合回路反饋控制系統，采用Q學習算法在該模型的求解中得到用戶體驗最優的發送速率策略。

技術領域

本發明涉及一種基于Q學習的無線網絡視頻傳輸自適應控制方法，屬于無線網絡流媒體傳輸技術領域。

背景技術

面向未來網絡社會中巨幅增長的無線連接需求、增強型移動寬帶接入服務需求、新興通信模式的甚高可靠性及服務保證需求，5G定義并將發展出相應的移動通信技術。對于未來的第五代移動通信無線接入網絡，現在已經逐漸明晰的是，其將是一個非常靈活的、異構接入系統，并將融入可用于面向具有不同特性及需求的大量應用配置同時無線連接的大量技術演進成果。為了滿足對于上述高需求的支撐需求，未來第五代移動通信系統將需要有針對性地接入具有不同特性的無線頻譜資源。

全球移動通信行業對未來的第五代移動通信系統展望了很多種的應用/業務形式。其中既包括對于現有一些第四代移動通信系統應用場景的增強，還更多地包括了一些新興的應用，比如：4K超高清晰度視頻、8K超高清晰度視頻、VR(Virtual Reality，虛擬現實)、AR(Augmented Reality，增強現實)、移動游戲、IoT(物聯網)、可穿戴設備應用、緊急任務應用(面向垂直行業與商業領域)。ITU-R(國際電信聯盟無線電通信局)確定了5G的三大主要應用場景(1)增強型移動寬帶；(2)超高可靠與低延遲的通信；(3)大規模機器類通信。

發明內容

為解決現有技術的不足，本發明的目的在于提供一種基于Q學習的無線網絡視頻傳輸自適應控制方法，結合目前無線業務用戶需求的增長也給移動通信無線接入網絡的擴容升級帶來壓力，需通過采取接入更多可用頻譜資源的方式或采用先進的頻譜共享接入機制來緩解無線網絡擁塞的現狀，對于自適應的調節視頻的發送速率并提高用戶的體驗具有重要的意義。

為了實現上述目標，本發明采用如下的技術方案：

一種基于Q學習的無線網絡視頻傳輸自適應控制方法，其特征是，包括如下步驟：

步驟1)根據視頻傳輸的具體場景建立基于馬爾科夫決策的視頻傳輸控制模型，將決策時刻、動作空間、狀態空間和效用函數映射到系統的參數中，建立MDP模型；

步驟2)使用Q學習算法對模型進行求解，依靠網絡控制器實時的搜集網絡參數，通過matlab擬合確定各個網絡參數對于服務質量QoS的影響因子得到服務質量QoS的歸一化值表達式后構造用戶體驗滿意度體驗質量QoE的預測公式，構建出系統狀態參數；

構建Q值表并依據Q值迭代公式和回報函數對Q值表進行更新，直至得到最優的發送策略。

前述的一種基于Q學習的無線網絡視頻傳輸自適應控制方法，其特征是，所述步驟2)的具體內容為：

21)初始化數據，分別設定學習速率初始值α₀，折扣因子γ，探索概率初始值ε₀，初始的視頻發送速率；

22)獲取當前的狀態，當視頻數據到達時，通過適配器搜集網絡時延、丟包、時延抖動以及緩存區長度信息，并計算得到動作前的體驗質量QoE值，得到系狀態(i,j)；

23)獲得Q值：計算當前狀態下所有可能發生的動作a₁,a₂,...,a_n所對應的Q值Q(s,a₁)，Q(s,a₂),…,Q(s,a_n)，得到當前網絡狀態下對應不同發送速率的Q值。