[發明專利]基于深層次時空信息的無參考視頻質量評價方法

在審

• 申請號: 202011637358.7
• 申請日: 2020-12-31
• 公開（公告）號: CN112784698A
• 公開（公告）日: 2021-05-11
• 發明（設計）人: 殷海兵;劉銀豪;周曉飛;王鴻奎
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 杭州浙科專利事務所(普通合伙) 33213
• 代理人: 楊小凡

1.基于深層次時空信息的無參考視頻質量評價方法，其特征在于包括如下步驟：

S1，內容感知特征提取，利用預訓練的深度神經網絡，提取頂層的語義層特征后進行聚合，對特征圖進行均值聚合與標準差聚合；

S2，對時間記憶效應進行建模，在特征整合方面，采用GRU網絡對長期依賴關系進行建模，在質量聚合方面，提出主觀啟發的時間池化模型并將其嵌入到網絡中。

2.如權利要求1所述的于深層次時空信息的無參考視頻質量評價方法，其特征在于所述步驟

S1的具體內容，包括如下步驟：

S11，設視頻具有T幀，將視頻幀I_t(t＝1,2，...，T)輸入到預訓練的CNN模型中，并從其頂部卷積層輸出深度語義特征圖M_t：

M_t＝CNN(I_t)

M_t總共包含C個特征圖，然后，對Mt的每個特征圖應用空間全局聚合，將空間全局平均池化操作GP_mean應用于Mt，合并空間全局標準偏差GP_std；GP_mean，GP_std操作后輸出特征向量分別為內容感知特征提取中，在使用res5c層特征的基礎上，同時提取res4f、res3d層特征，對這些層所提出的特征圖采用與res5c特征圖相同操作：

S12，將和串聯起來，作為內容感知知覺特征f_t：

其中，表示拼接操作。

3.如權利要求1所述的于深層次時空信息的無參考視頻質量評價方法，其特征在于所述步驟S2中，提取的內容感知特征在輸入GRU之前，執行尺寸減少，使用單個全連接層執行尺寸縮減；

x_t＝W_fxf_t+b_fx

其中W_fx和b_fx是該全連接層的參數；降維后，將縮減后的特征x_t(t＝1，…，T)送入GRU，將GRU的隱藏狀態視為集成特征，其初始值為h0；

根據當前輸入x_t和先前的隱藏狀態h_t-1計算出的當前隱藏狀態h_t，即：

最后采用Dual Deeper GRU結構；

outputs，即通過Dual Deeper GRU模塊之后，得到包含更深層次時域長時間相關特征的幀得分，最后通過全連接層進行回歸，得到每幀得分；

利用集成功能outputs，可以通過添加單個全連接層來預測幀質量得分q_t：

q_t＝W_hq(outputs)+b_hq

其中，W_hq和b_hq是權重和偏置參數。

4.如權利要求3所述的于深層次時空信息的無參考視頻質量評價方法，其特征在于所述步驟S2中的主觀啟發的時間池化模型，將存儲器質量元素定義為先前幀中質量得分的最小值；將當前質量元素定義為下一幀中質量得分的基于排序的加權平均值；近似分數被計算為存儲器和當前元素的加權平均值；視頻質量計算為近似分數的時間平均池。

5.如權利要求4所述的于深層次時空信息的無參考視頻質量評價方法，其特征在于將基于排序順序的權函數替換為可區分權重函數，并將其嵌入網絡中，具體地：

將第t幀的存儲質量元素定義為前幾個幀中的最低質量得分：

l_t＝q_t，t＝1

其中V_prev＝{max(1，t-τ)，…，t-2，t-1}是所考慮幀的索引集，而τ是與時間持續時間有關的超參數；

在第t幀構造了當前質量元素mt，使用接下來幾幀的加權質量得分，其中分配了更大的權重對于較差質量的幀，具體地，通過可分解的softmin函數，即負線性函數和softmax函數的組合，來確定權重

其中Vnex t＝{t，t+1，…，min(t+τ，T)}是相關幀的索引集；

τ與幀率相關，即采用的窗大小與視頻幀率相關，使τ＝int(round(Frame.rate)/2)；

通過線性組合內存質量和當前質量元素來近似主觀幀質量得分，然后，通過近似分數的時間全局平均池GAP計算總體視頻質量Q：

q′_t＝γl_t+(1-γ)m_t

其中，γ是一個超參數，用于平衡內存和當前元素對近似分數的貢獻。