[發明專利]基于級聯卷積神經網絡的視頻前背景分離方法

有效

• 申請號: 202010168156.6
• 申請日: 2020-03-11
• 公開（公告）號: CN111489372B
• 公開（公告）日: 2022-10-18
• 發明（設計）人: 楊敬鈺;師雯
• 申請（專利權）人: 天津大學
• 主分類號: G06T7/194
• 分類號: G06T7/194;G06N3/04
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 劉國威

1.一種基于級聯卷積神經網絡的視頻前背景分離方法，其特征是，利用兩個編碼器-解碼器類型的子網絡進行視頻前背景分離，所述兩個子網絡分別為進行前景檢測的FD網絡和進行背景重建的BR網絡，FD網絡用來生成二值化的前景掩膜，BR網絡利用FD網絡的輸出和輸入視頻幀來重建出背景圖；為引入空間線索，將三張連續的視頻幀作為輸入；為提高網絡適用性，與原始視頻幀對應的光流圖作為空間線索同時輸入到FD網絡中，具體步驟如下：

1)建立訓練數據庫

11)采用異常物檢測ChangeDetection2014數據庫；

12)為了保證數據均衡性，從不同場景中隨機抽取幀的序列，將每一個視頻幀進行180度的水平翻轉對數據進行數據擴充；

13)對幀圖像統一用最近鄰域插值算法進行尺寸調整，使圖像大小統一；

14)劃分訓練集和測試集；

2)搭建前景檢測網絡FD網絡，該子網絡包含兩個部分：編碼器部分和解碼器部分；

21)采用VGG16網絡的前n個卷積模塊作為編碼器，用來提取前景移動物體的特征，VGG網絡是由牛津大學的視覺幾何組提出的網絡模型，包括VGG16和VGG19；

22)采用反卷積層作為解碼器端，用來將前景特征映射成前景掩膜；

23)網絡的輸入有兩個部分，第一個部分是9通道的三張連續的原始視頻幀，第二個部分是6通道的與原始視頻幀相對應的光流圖，兩個輸入分別用權重不共享的卷積層提取特征，在每一個卷積層后面都增加一個特征融合層：

其中表示元素相加操作，i表示卷積層的索引，分別表示前景和光流圖在第i個卷積層提取出來的特征，fⁱ表示融合后的特征，它被送入到下一個卷積層中提取更抽象的特征；

24)將編碼器的特征圖通過跳躍連接傳送到解碼器，在網絡的末尾處添加一個殘差塊，用來精細化生成的前景掩膜；

25)FD網絡采用二值交叉熵作為前景檢測部分的損失函數L_det：

其中g_j和m_j表示前景真實標簽G和預測出的前景掩膜M的第j個像素值，N代表像素的總數，∑表示求和操作，log()表示對數函數；

3)搭建背景重建BR網絡，該子網絡包含三個部分：編碼器部分、傳輸部分和解碼器部分；

31)采用三個卷積層作為解碼器，在傳輸部分使用空洞卷積來替代傳統的卷積層，傳輸部分包含10個殘差塊，不進行任何的下采樣操作，解碼器端包含三個反卷積層，用來將提取出來的背景特征映射成一個完整的背景圖；

32)將FD網絡生成的前景掩膜與當前幀結合：

其中表示哈達瑪乘積，D，M分別表示原始彩色視頻幀和FD網絡生成的前景掩膜，表示去除前景后的不完整的背景圖，將輸入到BR網絡中生成完整的背景圖；

33)BR網絡采用加權損失函數，使用一范數來進行平衡，一范數損失和二范數損失定義如下：

其中b_m,n,c和分別表示背景真實標簽B和預測背景在第m行、第n列、第c個通道上的像素值，N表示像素的總個數，重建的背景在低維度的像素值和高維度的抽象特征上都應該接近背景標簽，采用感知損失來懲罰那些與標簽感知不相似的結果，感知損失函數L_perc定義如下：

其中，φ_l表示在ImageNet上預訓練好的VGG19網絡上的第l個激活層的特征，N_l表示第l個激活層的特征圖的像素個數，ImageNet是由斯坦福大學李飛飛團隊制作的一個圖像分類的數據集，因此加權背景重建損失函數L_rec定義為：

其中和λ_perc分別表示一范數損失、二范數損失和感知損失的權重系數；

4)用劃分好的幀序列訓練網絡模型，優化函數采用‘RMSprop’均方根誤差；

訓練過程是采用逐步訓練策略：首先通過前景檢測損失函數L_det訓練FD網絡；然后保持FD網絡參數不變的同時，用背景重建損失L_rec函數訓練BR網絡；最后整體的網絡在這兩個預訓練好的子網絡的基礎上，用加權損失函數L進行微調：

L＝αL_det+βL_rec (7)

其中α和β表示加權系數。