[發明專利]基于短期記憶和用戶期望的視頻質量評價方法

有效

• 申請號: 202010098992.1
• 申請日: 2020-02-18
• 公開（公告）號: CN111277899B
• 公開（公告）日: 2021-06-22
• 發明（設計）人: 徐藝文;陳靜;房穎;陳煒玲;趙鐵松
• 申請（專利權）人: 福州大學
• 主分類號: H04N21/442
• 分類號: H04N21/442;H04N21/475
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 陳明鑫;蔡學俊

1.一種基于短期記憶和用戶期望的視頻質量評價方法，其特征在于，包括以下步驟：

步驟S1:通過不同時長的前期體驗視頻表示短期記憶形成的不同時長,進行第一主觀實驗,并獲取第一主觀數據；

步驟S2:對獲取的第一主觀數據進行預處理，并且分析得到第一主觀實驗的實驗結果；

步驟S3：基于第一主觀實驗的分析結果，設計并進行第二主觀實驗，獲取短期記憶影響后形成的不同用戶期望對后續視頻體驗的第二主觀數據，其中用戶期望用前期視頻的內在質量表示；

步驟S4:對得到的第二主觀數據進行預處理，經過訓練模型，構建基于短期記憶形成時長和用戶期望視頻質量評價模型;

步驟S5:根據得到的模型，利用記憶形成時長和用戶期望來預測當前視頻的體驗質量；所述第一主觀實驗具體如下：

步驟a1：將2min的源視頻分為兩個部分進行處理，前90s為前期體驗視頻，后30s作為當前體驗視頻；固定后30s的作為當前體驗視頻不變，改變前期體驗視頻的時長為15s、30s、45s、60s、90s；從而得到一組具有不同時長的前期體驗視頻的視頻序列；

步驟a2：將前期體驗視頻的分辨率設置為640x360，當前體驗視頻的分辨率設置為1280x720，得到一組具有不同時長且質量變化的視頻序列；

步驟a3：構建實驗視頻：

未受到短期記憶影響的視頻：將上述構建的視頻的固定后30s視頻提出用于觀察實驗人員未受到短期記憶影響時的體驗質量，與受到短期記憶影響后的體驗質量作為對比，觀察短期記憶的影響；

測試視頻：即上述構建的一組具有不同時長且質量變化的視頻序列；

步驟a4：采用ITU-T P.911建議的11個等級絕對等級評分對未受到短期記憶影響的視頻和測試視頻進行評分，計算出未受到短期記憶影響的視頻對應的平均主觀意見分以及測試視頻中質量變換前后對應的平均主觀意見分，完成視頻質量主觀評價，得到主觀評價結果；

所述第二主觀實驗具體為：

步驟b1:構建實驗視頻：

將第一主觀實驗中得到的，前期體驗時長為15s、30s、45s三種時長下的未受到短期記憶影響的視頻和測試視頻，作為第二主觀實驗的實驗視頻內容；并且將視頻的質量變換程度進行重新設計，其質量變換包含向上切換、向下切換，以及不同的變化強度；

步驟b2:采用ITU-T P.911建議的11個等級絕對等級評分對未受到短期記憶影響的視頻和測試視頻進行評分，計算出未受到短期記憶影響的視頻對應的平均主觀意見分以及測試視頻中質量變換前后對應的平均主觀意見分，完成視頻質量主觀評價，得到主觀評價結果。

2.根據權利要求1所述的基于短期記憶和用戶期望的視頻質量評價方法，其特征在于，所述步驟S2具體為：對獲得的第一主觀數據進行篩選，通過計算主觀數據與MOS值的相關系數來去除異常數據，當相關系數小于0.7時，去除掉這個異常數據，并分析處理后的數據得出結果。

3.根據權利要求1所述的基于短期記憶和用戶期望的視頻質量評價方法，其特征在于，所述步驟S4具體為：

步驟c1：對主觀數據進行異常數據篩選；

步驟c2：將獲得的實驗數據按照80%為訓練集，20%為測試集對數據進行訓練模型，運用相關系數和均方根誤差來驗證模型的性能，得到前期體驗時長為15s、30s、45s下，用戶期望值與主觀質量之間的數學關系模型分別為：

（1）

（2）

（3）

式（1），（2），（3）分別對應前期體驗時長為15s、30s、45s下，用戶期望與主觀質量之間的數學關系模型；E是由觀看前期視頻產生的期望值，由前期視頻的內在質量決定；q是未受期望影響的視頻體驗質量，即當前視頻的內在質量；

步驟c3：定義期望影響指數R為期望所占的權重a與視頻內在質量所占權重b的比；前期體驗時長為15s、30s、45s下，對應的R分別為：0.248、0.330、0.360；得出前期體驗時長t跟期望影響指數R的關系式：

（4）

綜合公式式（1），（2），（3），（4），得到用戶期望E和記憶形成時長t對主觀質量的數學關系模型：

（5）

其中，期望影響指數R由式（4）所示，C為常數項。