[發明專利]一種結合幀間信息的非均勻運動模糊視頻復原方法

有效

• 申請號: 202110430994.0
• 申請日: 2021-04-21
• 公開（公告）號: CN113269682B
• 公開（公告）日: 2023-03-24
• 發明（設計）人: 陳斌;金巖;詹慧媚;裴景秋
• 申請（專利權）人: 海納云物聯科技有限公司;青島海納云智能系統有限公司;青島海納云數字科技有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06V20/40;G06V10/762;G06V10/764
• 代理公司: 北京元中知識產權代理有限責任公司 11223
• 代理人: 王明霞

1.一種結合幀間信息的非均勻運動模糊視頻復原方法，其特征在于，包括以下步驟：

步驟一、獲取需要處理的視頻；

步驟二、根據獲取的視頻，提取視頻幀圖像，并判斷每幀圖像的清晰度，若當前幀圖像的清晰度大于或等于預設閾值，則判斷當前幀為清晰幀，并對下一幀圖像進行判斷，若當前幀圖像的清晰度小于預設閾值，則判斷當前幀為模糊幀B_i，并將上一幀圖像作為對比清晰幀L_j；

步驟三、檢測所述對比清晰幀L_j與模糊幀B_i之間的特征點，并對所述特征點進行匹配，然后以匹配的特征點對為中心，分別提取一系列相應的清晰圖像塊l_j,k和模糊圖像塊b_i,k；

步驟四、利用投影運動模糊模型和步驟三中提取的圖像塊，分別計算每個模糊圖像塊b_i,k的運動向量長度比

其中，所述步驟四中，所述運動向量長度比的計算方法為：

步驟a1：選取一對匹配的清晰圖像塊l_j,k和模糊圖像塊b_i,k，并計算清晰圖像塊l_j,k的中心點到模糊圖像塊b_i,k中心點的向量所述向量的表達式為：

步驟a2：設定運動向量長度比的精度為0.02，取值范圍為0～1，根據的取值和向量計算出50個對應的單應矩陣，計算公式為：

步驟a3：根據步驟a2求解的50個單應矩陣，對清晰圖像塊l_j,k進行單應變換，并依次疊加，得到50個估算的模糊圖像塊計算公式為：

步驟a4：計算估算的模糊圖像塊與真實模糊圖像塊b_i,k之間的二范數損失，得到最小的對應的N值，計算公式為：

步驟a5：根據步驟a4計算的N值，計算出該模糊圖像塊b_i,k的運動向量長度比所述運動向量長度比

步驟五、利用TV-L1光流算法估算模糊幀B_i的光流u_i→j，并利用光流u_i→j和步驟四中求得的運動向量長度比結合k-medoids聚類算法和KNN分類方法來計算模糊幀B_i的運動向量長度比s，

其中，所述步驟五中，計算模糊幀B_i的運動向量長度比s的方法為：

步驟b1：使用TV-L1算法計算出模糊幀B_i的光流u_i→j，并將光流u_i→j歸一化，記坐標為(x,y)的像素點的光流為

步驟b2：使用k-modoids聚類算法對所有模糊幀B_i中的特征點進行聚類，聚類的特征向量構造為將具有相近光流和運動向量長度比的點分為一類；

步驟b3：計算每一類里所有特征點的運動向量長度比的均值，并將該均值重新賦值給特征點；

步驟b4：使用KNN分類方法，將模糊幀B_i中的其他非特征點劃分到步驟b2計算出的類別中心，分類的特征向量構造為[u_x,u_y,y,u,v]，其中，y,u,v為圖像歸一化后的YUV通道值；

步驟b5：將步驟b3中計算出的運動向量長度比的均值，賦值給步驟b4中劃分入對應類別的非特征點，最終得到模糊幀B_i的運動向量長度比s；

步驟六、對模糊幀B_i、光流u_i→j和運動向量長度比s進行多次下采樣，并建立金字塔模型；

步驟七、固定光流u_i→j和運動向量長度比s，計算潛在清晰幀L_i，

其中，所述步驟七可以通過求解以下第一公式來實現：

式中，K(u_i→j,s)是模糊核的行向量形式，是一個線性算子，它計算的是水平和垂直方向上的導數，λ、μ_L是不同損失項的權重；

在計算過程中，為減小噪聲的影響，對L_i(x)和L_j(x+u_i→j)都做一次模糊核為3*3的高斯模糊；

K(u_i→j,s)在每個像素點(x,y)處的值k(x)通過以下公式計算得到：

式中，是坐標點(x,y)運動向量長度比，u(x)是在像素點(x,y)上的光流，其在x和y方向上的分量分別為u，v；δ(vx-uy)是Dirac沖激函數；

所述第一公式通過以下凸優化方法來對其進行求解：

式中，m≥0，代表迭代次數，s_i和q_i是對偶變量，η_L和ε_L是更新次數，A是空間線性梯度算子，算子D_i計算L_i(x)和L_j(x+u_i→j)之間的時域差距，T代表矩陣的轉置，通過共軛梯度法來最小化式中的代價函數，得到

步驟八、固定潛在清晰幀L_i和運動向量長度比s，計算光流u_i→j，

其中，所述步驟八可以通過求解以下第二公式來實現：

其中：

式中，ν是尺度，σ_I控制該項的權重，是迭代過程中的潛在清晰幀，u₀是光流u_i→j的初始值；

所述第二公式通過以下凸優化方法來對其進行求解：

其中：p_i是u_i→j的對偶變量，G是對角矩陣G＝diag((g(x)))，η_u和ε_u是更新次數，代表

步驟九、固定潛在清晰幀L_i和光流u_i→j，計算運動向量長度比s₁，

其中，所述步驟九通過求解以下第三公式來實現：

其中：s₀是s的初始值；

所述第三公式通過以下凸優化方法來對其進行求解：

式中，r_i是s_i的對偶變量，η_s和ε_s是更新次數，代表

步驟十、重復執行上述步驟七至步驟九，直到達到金字塔模型的最高分辨率層，計算出最高分辨率的潛在清晰幀L_i、光流u_i→j和運動向量長度比s₂；

步驟十一、用步驟十中計算得到的最高分辨率的潛在清晰幀Li替換所述模糊幀B_i，得到復原后的清晰視頻。