[發明專利]一種基于大數據環境下的視頻QoE預測系統及方法

有效

• 申請號: 202011423524.3
• 申請日: 2020-12-08
• 公開（公告）號: CN113038118B
• 公開（公告）日: 2023-03-31
• 發明（設計）人: 龍昭華;崔永明;唐龍齊
• 申請（專利權）人: 重慶郵電大學
• 主分類號: H04N17/00
• 分類號: H04N17/00
• 代理公司: 重慶市恒信知識產權代理有限公司 50102
• 代理人: 陳棟梁

本發明請求保護一種基于大數據環境下的視頻QoE預測系統及方法。包括視頻流采集預處理模塊：用于通過多媒體數據中心下載大規模視頻流數據，經過過濾層篩選出視頻流數據包，同時對捕獲的數據包進行特征提取；特征選擇及數據分析模塊：采用Spark并行集成特征選擇算法進行視頻流特征提取；篩選出優質性能指標；通過設置評估標準的閾值來判斷類別相關，經過特征選擇算法不斷篩選刪除冗余集合，獲得特征指標集合；視頻QoE預測模塊：用于將特征指標集合作為小波神經網絡的輸入，并添加權值向量進行誤差修正，經過激活函數得到的結果即為視頻QoE預測的結果。本發明在計算速度和處理大規模網絡流量效率等方面有著顯著提升，最終提高用戶觀看視頻的QoE體驗。

技術領域

本發明屬于視頻QoE預測的領域，主要涉及大規模視頻數據流量分析處理，構建一種動態的負載均衡網絡模型，并基于該模型預測用戶觀看視頻的體驗質量(QoE)。

背景技術

隨著大數據時代的到來，網絡視頻流量呈現指數級增長，為了有效的管控網絡資源，提高網絡安全性，提高視頻流暢度，增加用戶觀看視頻的體驗滿意度，需要對視頻流量進行準確的分類，現有的技術中有人提出基于QoE的速率選擇機制，但并未解決大規模流量分類的問題。有提出基于強化學習的自適應速率參數實時自適應機制，并充分考慮每個用戶網絡條件的特征，增強自適應模型的定制性，以確保每個用戶都可以獲得最佳的視頻服務質量(QoE)。該系統會預先計算給定的視頻碼率自適應算法在不同網絡條件時的最佳參數設置，然后在運行時根據客戶端連接的當前網絡狀態，特別是吞吐量和吞吐量可變性來自動調整自適應速率算法的參數，從而改善該算法的動態范圍,但并未考慮網絡負載均衡的問題。基于上述的局限性，本發明提出一種基于大數據環境下的視頻QoE預測系統及方法。

發明內容

本發明旨在解決以上現有技術的問題。提出了一種基于大數據環境下的視頻QoE預測系統及方法。本發明的技術方案如下：

一種基于大數據環境下的視頻QoE預測系統，其包括：

視頻流采集預處理模塊、特征選擇及數據分析模塊及視頻QoE預測模塊，其中，

視頻流采集預處理模塊：用于通過多媒體數據中心下載大規模視頻流數據，經過過濾層篩選出視頻流數據包，同時對捕獲的數據包進行特征提取；

特征選擇及數據分析模塊：用于采用Spark并行集成特征選擇算法進行視頻流特征提取；采用決策樹算法根據設定的評估標準，消除類別相關性弱和冗余的特征，從大規模視頻數據流量中篩選出優質性能指標；通過設置評估標準的閾值來判斷類別相關，經過特征選擇算法不斷篩選刪除冗余集合，獲得一個類別相關性大于預設值且特征間相關性小于預設值的特征指標集合；

視頻QoE預測模塊：用于將特征選擇及數據分析模塊得到的特征指標集合作為小波神經網絡的輸入，并添加權值向量ω_ij^k進行誤差修正，經過激活函數得到的結果即為視頻QoE預測的結果。

進一步的，所述視頻流采集預處理模塊包括流量分類模塊、數據處理模塊和特征提取模塊，其中，流量分類模塊用于從大規模網絡流量中分類出視頻流數據包；數據處理模塊用于指將視頻流數據包存儲到分布式文件系統上，并對捕獲的視頻流數據包進行數據分析，在基于視頻流特征指標相關性的基礎上選擇特征類別相關性大于閾值的特征數據集，數據處理模塊對捕獲的視頻流數據包進行分析，特征提取模塊用于初步篩選得出影響用戶觀看視頻體驗質量QoE的特征指標集合。

進一步的，所述特征選擇及數據分析模塊中，決策樹生成步驟主要為3個部分：

1)特征選擇步驟：從訓練數據中眾多的特征中選擇一個特征作為當前節點的分裂標準；使用決策樹進行決策的過程就是從根節點開始，測試待分類項中相應的特征屬性并按照其值選擇輸出分支，直到到達葉子節點，將葉子節點存放的類別作為決策結果；

2)決策樹生長步驟：根據選擇的特征評估標準，從上至下遞歸生成子節點，直到數據集不可分則停止決策樹生長；