[發明專利]基于時空聯合矩陣恢復動態視頻背景方法

在審

• 申請號: 202010153119.8
• 申請日: 2020-03-06
• 公開（公告）號: CN111626942A
• 公開（公告）日: 2020-09-04
• 發明（設計）人: 楊敬鈺;師雯;李坤;劉海軍
• 申請（專利權）人: 天津大學
• 主分類號: G06T5/00
• 分類號: G06T5/00
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 劉國威

1.一種基于時空聯合矩陣恢復動態視頻背景方法，其特征是，將約束批處理實現方式的核范數項進行低秩矩陣分解，將模型轉化成可單幀處理的形式，同時嵌入仿射變換算子，利用交替方向算法對模型進行迭代求解，在求解的過程中，視頻的視角逐漸統一，實現恢復動態視頻背景。

2.如權利要求1所述的基于時空聯合矩陣恢復動態視頻背景方法，其特征是，具體步驟如下：

1)構建動態視頻在線背景重建模型

11)首先在視頻序列中隨機選取一幀作為參考幀，這一幀的視角就是參考視角，在此基礎上，動態視頻的在線背景建模問題表述為求解如下的無約束優化方程：

其中||·||_F表示矩陣的弗羅貝尼烏斯范數，||·||_*表示矩陣的核范數，||·||₁表示矩陣的一范數，表示仿射變換操作，表示矩陣的哈達瑪乘積，D為未處理的視頻序列幀依次拉成列向量排列而成的觀測矩陣，B表示待恢復的背景，E代表前景部分，W表示二值運動場映射權重矩陣，F代表由參考幀拉成的列向量排列而成的矩陣，τ表示仿射變換參數，則代表經過仿射變換后視角均轉換到參考視角上的觀測矩陣，λ₁，λ₂分別表示視頻中低秩背景和前景的權重系數，λ₃表示仿射變換的懲罰系數，表示求括號內的方程關于B,E,τ的最小值；

12)為了實現在線化處理，提高模型的時間可擴展性，對背景B進行低秩矩陣分解：

其中inf表示下確界，L是視頻序列背景的低維子空間的基，C是視頻序列對應于基L的系數矩陣，C^T表示C的轉置；則模型轉化為如下形式：

13)將模型關于觀測矩陣D進行解耦，得到增量形式的損失函數：

其中n表示視頻序列的總幀數，d_k表示視頻序列第k幀的列向量，為第k幀d_k關于L,c_k,e_k,τ_k的損失函數，其定義如下：

其中||·||₂表示向量的二范數，w_k表示第k幀d_k的運動映射權重向量，c_k是d_k在基L下的系數向量，e_k為第k幀d_k的前景向量，f表示參考幀拉成的列向量，τ_k表示第k幀d_k的仿射變換參數；

2)估計第k幀d_k的二值映射運動權重向量w_k，采用前向運動估計方案：

21)當k為1時，將二值映射運動權重向量全部賦值為1；

22)對于后續幀，以k-1作為參考幀，采用光流算法估計當前幀的稠密運動場，然后將運動場二值化，定義如下：

其中w_ik表示第k幀d_k的第i個像素的運動權重，即為w_k的第i個像素值，和分別表示第k幀d_k的第i個像素的水平運動分量和垂直運動分量，t為二值化運動場的閾值；

3)利用交替方向法求解方程(5)，求解當前第k幀的前景分量e_k，仿射變換參數τ_k，以及低秩子空間基的系數c_k，將方程(5)轉化成如下方程交替迭代求解：

其中L_k-1表示第k-1幀更新的低秩子空間基，l表示迭代次數；

31)求解子問題由于是非線性的幾何變換，子問題τ沒有閉式解，使用增量式的優化策略，將用線性展開式來近似：其中J代表d_k關于的雅克比矩陣，因此可以將求解τ問題轉化為求解△τ問題：

其中由于方程(8)的一范數求解較為困難，方程(8)可進一步轉化為加權最小二乘問題：

其中v表示權重向量，為簡潔起見，令a的第i個元素表示為a(i)，則v的第i個元素ε是一個很小的常量，為了避免除數為0導致數據溢出，則方程(9)的閉式解為：

其中diag(x)表示將向量x變為對角矩陣，對角元素對應于向量元素，則第k幀的第l+1次迭代后的仿射變換參數為：

32)求解子問題通過求解最小二乘問題的閉式解求得第k幀系數

33)求解子問題使用收縮算子求得第k幀前景

其中“./”表示元素除法，即用系數λ₂除以向量w_k的每一個元素，shrink(x)表示向量x的收縮算子，即對向量x的每一個元素進行收縮，shrink算子的元素收縮函數定義為：

其中sign()表示符號函數，a和b是假設的任意兩個數；

34)重復上述步驟31)、32)、33)，直到和收斂時停止迭代；

4)通過方程(3)求解低秩子空間基L，去掉無關變量，將方程轉化為如下形式：

其中D_k＝[d₁,...,d_k]，W_k＝[w₁,...,w_k]，E_k＝[e₁,...,e_k]分別表示前k幀的觀測矩陣，二值映射運動權重矩陣，系數矩陣，前景分量矩陣，為簡潔表示，令表示已經求得的當前幀及之前的視頻幀的背景，是新引入的變量，則方程(14)轉化為如下形式：

其中λ₄是懲罰系數，使用交替方向法ADM將方程(15)轉換成如下序列進行迭代求解：

41)求解子問題的最小二乘問題的閉式解為：

42)求解子問題的最小二乘問題的閉式解為：

其中I表示單位陣；

43)重復上述步驟41)、42)，直到和收斂時停止迭代；

5)求解視頻背景B：由34)和43)分別得到的c_k和L_k求得b_k＝L_kc_k，b_k就是當前幀的背景，將所有幀的背景向量組成矩陣，就是原問題的最終解B。