[發明專利]一種基于大數據環境下的視頻QoE預測系統及方法

有效

• 申請號: 202011423524.3
• 申請日: 2020-12-08
• 公開（公告）號: CN113038118B
• 公開（公告）日: 2023-03-31
• 發明（設計）人: 龍昭華;崔永明;唐龍齊
• 申請（專利權）人: 重慶郵電大學
• 主分類號: H04N17/00
• 分類號: H04N17/00
• 代理公司: 重慶市恒信知識產權代理有限公司 50102
• 代理人: 陳棟梁

1.一種基于大數據環境下的視頻QoE預測系統，其特征在于，包括：

視頻流采集預處理模塊、特征選擇及數據分析模塊及視頻QoE預測模塊，其中，

視頻流采集預處理模塊：用于通過多媒體數據中心下載大規模視頻流數據，經過過濾層篩選出視頻流數據包，同時對捕獲的數據包進行特征提??；

特征選擇及數據分析模塊：用于采用Spark并行集成特征選擇算法進行視頻流特征提取；采用決策樹算法根據設定的評估標準，消除類別相關性弱和冗余的特征，從大規模視頻數據流量中篩選出優質性能指標；通過設置評估標準的閾值來判斷類別相關，經過特征選擇算法不斷篩選刪除冗余集合，獲得一個類別相關性大于預設值且特征間相關性小于預設值的特征指標集合；

視頻QoE預測模塊：用于將特征選擇及數據分析模塊得到的特征指標集合作為小波神經網絡的輸入，并添加權值向量ω_ij^k進行誤差修正，經過激活函數得到的結果即為視頻QoE預測的結果；

特征選擇及數據分析模塊還用于：

決策樹生成和決策樹計算相關性，決策樹生成分為3個部分：

1)特征選擇，從訓練數據中眾多的特征中選擇一個特征作為當前節點的分裂標準；使用決策樹進行決策的過程就是從根節點開始，測試待分類項中相應的特征屬性并按照其值選擇輸出分支，直到到達葉子節點，將葉子節點存放的類別作為決策結果；

2)決策樹生長，根據選擇的特征評估標準，從上至下遞歸生成子節點，直到數據集不可分則停止決策樹生長；

3)剪枝，決策樹容易過擬合，需要剪枝，縮小樹結構規模，緩解過擬合狀態；

決策樹計算相關性具體為：規則集表示從根節點到葉節點的路徑，子規則表示規則集中的一條規則；

1)首先從2棵決策樹x1和x2的規則集中依據節點數相近原則選擇2條規則集，然后根據式(1)來計算數據集的相似度sim_x1,x2，

其中m為節點個數,sim_i是決策樹規則集中具有相近節點數的相似度；

2)如果子規則的形式是非數值屬性，利用式(2)計算相似度sim_i,

其中n為節點個數；

3)如果子規則數值是數值型的，那么就使用式(3)來計算相似度sim_i,

其中k1為自定義的評估標準的閾值；

所述視頻QoE預測模塊采用小波神經網絡自適應地調節模型的節點數量，使得整個網絡實現動態的負載均衡，將上一階段得到的特征指標集合作為小波神經網絡的輸入，并添加權值向量ω_ij^k進行誤差修正，設定ω_ij^k為第k-1層第i個神經元至第k層第j個神經元的權值向量，在傳遞函數上，中間層選用激活函數輸出層選用Purelin線性函數，即線性求和，a為小波神經網絡的伸縮因子，b為小波神經網絡的平移因子。

2.根據權利要求1所述的一種基于大數據環境下的視頻QoE預測系統，其特征在于，所述視頻流采集預處理模塊包括流量分類模塊、數據處理模塊和特征提取模塊，其中，流量分類模塊用于從大規模網絡流量中分類出視頻流數據包；數據處理模塊用于指將視頻流數據包存儲到分布式文件系統上，并對捕獲的視頻流數據包進行數據分析，在基于視頻流特征指標相關性的基礎上選擇特征類別相關性大于閾值的特征數據集，特征提取模塊用于初步篩選得出影響用戶觀看視頻體驗質量QoE的特征指標集合。

3.一種基于大數據環境下的視頻QoE預測系統方法，其特征在于，包括以下步驟：

視頻流采集預處理步驟、特征選擇及數據分析步驟及視頻QoE預測步驟，其中，

視頻流采集預處理步驟包括：通過多媒體數據中心下載大規模視頻流數據，經過過濾層篩選出視頻流數據包，同時調用數據處理模塊對捕獲的數據包進行特征提??；

視頻QoE預測步驟包括：將上一階段得到的特征指標集合作為小波神經網絡的輸入，并添加權值向量ω_ij^k進行誤差修正，經過激活函數得到的結果即為視頻QoE預測的結果；

特征選擇及數據分析步驟具體包括：

S21：數據分析；利用Spark分布式計算框架來提高數據處理能力，采用決策樹算法根據特定的評估標準，消除類別相關性弱和冗余的特征，從大規模視頻數據流量中篩選出優質性能指標，降低特征空間復雜度；

S22：標準評估；判斷一個標準是否與類別相關以及判斷類別相關的特征值之間是否存在冗余，通過設置評估標準的閾值來判斷類別相關，經過特征選擇算法不斷篩選刪除冗余集合，獲得一個類別相關性大于預設值且特征間相關性小于預設值的特征指標集合；

S23：決策樹生成步驟主要為3個部分：

1)特征選擇，從訓練數據中眾多的特征中選擇一個特征作為當前節點的分裂標準；使用決策樹進行決策的過程就是從根節點開始，測試待分類項中相應的特征屬性并按照其值選擇輸出分支，直到到達葉子節點，將葉子節點存放的類別作為決策結果；

2)決策樹生長，根據選擇的特征評估標準，從上至下遞歸生成子節點，直到數據集不可分則停止決策樹生長；

3)剪枝，決策樹容易過擬合，需要剪枝，縮小樹結構規模，緩解過擬合狀態；

S24：決策樹計算相關性步驟：規則集表示從根節點到葉節點的路徑，子規則表示規則集中的一條規則；

1)首先從2棵決策樹x1和x2的規則集中依據節點數相近原則選擇2條規則集，然后根據式(1)來計算數據集的相似度sim_x1,x2，

其中m為節點個數,sim_i是決策樹規則集中具有相近節點數的相似度；

2)如果子規則的形式是非數值屬性，利用式(2)計算相似度sim_i,

其中n為節點個數；

3)如果子規則數值是數值型的，那么就使用式(3)來計算相似度sim_i,

其中k1為自定義的評估標準的閾值；

所述視頻QoE預測步驟采用小波神經網絡自適應地調節模型的節點數量，使得整個網絡實現動態的負載均衡，將上一階段得到的特征指標集合作為小波神經網絡的輸入，并添加權值向量ω_ij^k進行誤差修正，設定ω_ij^k為第k-1層第i個神經元至第k層第j個神經元的權值向量，在傳遞函數上，中間層選用激活函數輸出層選用Purelin線性函數，即線性求和，a為小波神經網絡的伸縮因子，b為小波神經網絡的平移因子。/