[發(fā)明專利]冗余監(jiān)控畫面過濾及無效監(jiān)控畫面篩選的方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202011026258.0
• 申請日: 2020-09-25
• 公開（公告）號: CN112183310B
• 公開（公告）日: 2022-12-13
• 發(fā)明（設(shè)計(jì)）人: 劉小楠;郭威;王熠;林敏;張浩博;趙子誠
• 申請（專利權(quán)）人: 華東計(jì)算技術(shù)研究所（中國電子科技集團(tuán)公司第三十二研究所）
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V20/52;G06V10/74;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 上海段和段律師事務(wù)所 31334
• 代理人: 李佳俊;郭國中

1.一種冗余監(jiān)控畫面過濾及無效監(jiān)控畫面篩選的方法，其特征在于，包括：

步驟1：使用基于Siamese架構(gòu)的SiamConvGRU模型，使輸入的相似視頻片段對在映射空間中距離更近，使不相似的視頻片段對在映射空間中距離更遠(yuǎn)；

步驟2：在SiamConvGRU模型中使用成對視頻片段(X₁,X₂)作為輸入，逐步捕獲和聚合與視頻片段相關(guān)的上下文信息，得到輸入片段對的整體特征(G_W(X₁),G_W(X₂))；

步驟3：將基于兩個(gè)視頻特征的相似性度量Ew生成對比損失函數(shù)，進(jìn)行網(wǎng)絡(luò)模型優(yōu)化，將監(jiān)控視頻的大量冗余畫面以低評分過濾掉，用來提高視頻監(jiān)控員的工作效率；將因相機(jī)遮擋、模糊而產(chǎn)生的無效監(jiān)控畫面以高評分篩選出；

在所述步驟2中，通過在所述SiamConvGRU模型間嵌入非局部操作來捕捉視頻中每幀圖像的空間全局依賴關(guān)系，來捕捉圖像完整空間信息，建立圖像上任意兩點(diǎn)之間的依賴關(guān)系；具體的，在每個(gè)GRU單元之間引入非局部模塊，其計(jì)算量級很小，當(dāng)批次大小為4，輸入長寬大小為14或7時(shí)，通過矩陣運(yùn)算來計(jì)算非局部依賴關(guān)系與計(jì)算一個(gè)卷積層的計(jì)算量相當(dāng)，通過在Siamese架構(gòu)中融合改進(jìn)的ConvGRU網(wǎng)絡(luò)，模型能夠充分利用監(jiān)控視頻的幀間時(shí)序相關(guān)性，同時(shí)建立圖像空間依賴響應(yīng)。

2.根據(jù)權(quán)利要求1所述的冗余監(jiān)控畫面過濾及無效監(jiān)控畫面篩選的方法，其特征在于，在所述步驟1中，采用Siamese架構(gòu)進(jìn)行大量視頻片段對的對比學(xué)習(xí)，捕獲特殊場景與無效畫面的特征差異，提高模型對無效畫面和特殊場景的區(qū)分能力，能夠利用監(jiān)控視頻片段間的潛在相似性來過濾冗余畫面。

3.根據(jù)權(quán)利要求1所述的冗余監(jiān)控畫面過濾及無效監(jiān)控畫面篩選的方法，其特征在于，在所述步驟2中，SiamConvGRU模型使用具有軟注意力的ResNet-50網(wǎng)絡(luò)提取視頻每一幀圖像的特征，關(guān)注畫面前景信息的變化情況。

4.根據(jù)權(quán)利要求3所述的冗余監(jiān)控畫面過濾及無效監(jiān)控畫面篩選的方法，其特征在于，將提取的圖像特征輸入到ConvGRU網(wǎng)絡(luò)以更好的獲得視頻的時(shí)序特征，通過在每個(gè)GRU單元的輸入到狀態(tài)和狀態(tài)到狀態(tài)轉(zhuǎn)換的計(jì)算中使用卷積操作得到ConvGRU單元，以更好地實(shí)現(xiàn)視頻序列時(shí)空關(guān)系的建模。

5.一種冗余監(jiān)控畫面過濾及無效監(jiān)控畫面篩選的系統(tǒng)，其特征在于，包括：

模塊1：使用基于Siamese架構(gòu)的SiamConvGRU模型，使輸入的相似視頻片段對在映射空間中距離更近，使不相似的視頻片段對在映射空間中距離更遠(yuǎn)；

模塊2：在SiamConvGRU模型中使用成對視頻片段(X₁,X₂)作為輸入，逐步捕獲和聚合與視頻片段相關(guān)的上下文信息，得到輸入片段對的整體特征(G_W(X₁),G_W(X₂))；

模塊3：將基于兩個(gè)視頻特征的相似性度量Ew生成對比損失函數(shù)，進(jìn)行網(wǎng)絡(luò)模型優(yōu)化，將監(jiān)控視頻的大量冗余畫面以低評分過濾掉，用來提高視頻監(jiān)控員的工作效率；將因相機(jī)遮擋、模糊而產(chǎn)生的無效監(jiān)控畫面以高評分篩選出；

在所述模塊2中，通過在所述SiamConvGRU模型間嵌入非局部操作來捕捉視頻中每幀圖像的空間全局依賴關(guān)系，來捕捉圖像完整空間信息，建立圖像上任意兩點(diǎn)之間的依賴關(guān)系；具體的，在每個(gè)GRU單元之間引入非局部模塊，其計(jì)算量級很小，當(dāng)批次大小為4，輸入長寬大小為14或7時(shí)，通過矩陣運(yùn)算來計(jì)算非局部依賴關(guān)系與計(jì)算一個(gè)卷積層的計(jì)算量相當(dāng)，通過在Siamese架構(gòu)中融合改進(jìn)的ConvGRU網(wǎng)絡(luò)，模型能夠充分利用監(jiān)控視頻的幀間時(shí)序相關(guān)性，同時(shí)建立圖像空間依賴響應(yīng)。

6.根據(jù)權(quán)利要求5所述的冗余監(jiān)控畫面過濾及無效監(jiān)控畫面篩選的系統(tǒng)，其特征在于，在所述模塊1中，采用Siamese架構(gòu)進(jìn)行大量視頻片段對的對比學(xué)習(xí)，捕獲特殊場景與無效畫面的特征差異，提高模型對無效畫面和特殊場景的區(qū)分能力，能夠利用監(jiān)控視頻片段間的潛在相似性來過濾冗余畫面。