[發(fā)明專利]基于自適應(yīng)匹配的視頻顯著性檢測方法、裝置及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202210557195.4
• 申請日: 2022-05-19
• 公開（公告）號: CN115115970A
• 公開（公告）日: 2022-09-27
• 發(fā)明（設(shè)計）人: 李若琪;盧湖川;王一帆
• 申請（專利權(quán)）人: 大連理工大學(xué);大連維視科技有限公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/82;G06V10/26;G06N3/08;G06N3/04
• 代理公司: 大連東方專利代理有限責(zé)任公司 21212
• 代理人: 吳婷婷;李洪福

本發(fā)明提供一種基于自適應(yīng)匹配的視頻顯著性檢測方法、裝置及存儲介質(zhì)。方法包括：S1、將待檢測視頻的第一幀圖像數(shù)據(jù)輸入分割網(wǎng)絡(luò)進(jìn)行處理；S2、建立一個記憶模塊存儲參考特征，用第一幀前景特征進(jìn)行初始化；S3、將下一幀圖像數(shù)據(jù)輸入特征提取網(wǎng)絡(luò)，將當(dāng)前幀特征與參考特征進(jìn)行相關(guān)性匹配，基于相關(guān)性匹配圖與前一幀的顯著性預(yù)測圖獲取相關(guān)性匹配特征，將相關(guān)性特征、當(dāng)前幀的8倍下采樣特征以及前一幀的前景特征融合后送入所述預(yù)測網(wǎng)絡(luò)，從而得到當(dāng)前幀的顯著性預(yù)測圖；S4、根據(jù)當(dāng)前幀前景特征與參考特征的相關(guān)性匹配結(jié)果更新記憶模塊的參考特征；S5、持續(xù)輸入視頻幀，重復(fù)上述S3?S4直到得到所有視頻幀的顯著性預(yù)測圖。本發(fā)明有效地利用視頻整體的時序信息，并且不會隨著視頻幀數(shù)的增多而增加大量計算量。

技術(shù)領(lǐng)域

本發(fā)明涉及本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，具體而言，尤其涉及一種基于自適應(yīng)匹配的視頻顯著性檢測方法、裝置及存儲介質(zhì)。

背景技術(shù)

視頻顯著性目標(biāo)檢測技術(shù)主要用于自動檢測出一段視頻中視覺注意力最集中的物體，并分割出來，在自動駕駛、人機(jī)交互、安防等很多關(guān)鍵任務(wù)中都有著很大的作用。與圖像的顯著性檢測相比而言，由于視頻中含有豐富的時序信息，如何能處理好視頻幀間的時序相關(guān)性是視頻顯著性檢測中一個具有挑戰(zhàn)性的問題。

傳統(tǒng)的視頻顯著性檢測方法往往依賴于人工設(shè)計的特征和先驗，如色彩對比度、背景先驗、中心點先驗等，它們分別從時間和空間維度提取特征，再融合到一起，然而這些低層次的特征具有很大的局限性，一旦場景變得復(fù)雜，效果將會大大降低。

近年來，隨著深度學(xué)習(xí)的飛速發(fā)展，基于卷積神經(jīng)網(wǎng)絡(luò)的視頻顯著性檢測方法取得了巨大的進(jìn)步，它們通常采用一個預(yù)訓(xùn)練過的深度骨干網(wǎng)絡(luò)(如ResNet50，ResNet101)作為特征提取器，在多個分辨率尺度上提取特征，得到具有魯棒性的圖像特征表示，提升了分割精度。同時，這些方法也針對如何利用視頻幀中豐富的時序信息進(jìn)行了大量的探索。大部分方法選擇使用光流來提供視頻幀間的運(yùn)動信息，與外觀特征表示進(jìn)行融合，充分挖掘兩種模態(tài)信息間的互補(bǔ)關(guān)系，極大地提升了顯著性檢測精度，但由于光流的獲取需要使用額外的網(wǎng)絡(luò)、額外的數(shù)據(jù)進(jìn)行專門針對提取光流的訓(xùn)練，而且當(dāng)視頻兩幀之間幾乎沒有什么變化時，獲取到的光流往往是空白圖，需要人工篩選掉以降低這些空白圖對整個網(wǎng)絡(luò)的消極影響，這一系列過程費時費力，并且也顯然無法應(yīng)用到實際場景中。

范登平等人于2019年，將ConvLSTM應(yīng)用到了視頻顯著性檢測中，用兩層ConvLSTM來捕捉視頻時序信息以及人類的注意力轉(zhuǎn)移機(jī)制，并首次提出了專門針對視頻顯著性檢測任務(wù)的基準(zhǔn)數(shù)據(jù)集，為該任務(wù)的發(fā)展做出了巨大貢獻(xiàn)。顧宇超等人在“PyramidConstrained Self-AttentionNetwork for Fast Video Salient Object Detection，AAAI，2020”中，首次采用輕量的MobileNet作為特征提取網(wǎng)絡(luò)，并利用自注意力機(jī)制，使用Conv3D卷積，直接對每5幀視頻建立時序關(guān)系，極大提升了速度，但該方法對于時序信息的利用僅局限于5幀視頻以內(nèi)，缺乏對視頻整體的全局信息的考慮，限制了精度。

發(fā)明內(nèi)容

根據(jù)上述提出視頻顯著性檢測精度不高的技術(shù)問題，而提供一種基于自適應(yīng)匹配的視頻顯著性檢測方法、裝置及存儲介質(zhì)。本發(fā)明提供一種輕量、快速、高精度的視頻顯著性檢測方法，有效地利用視頻整體的時序信息，并且不會隨著視頻幀數(shù)的增多而增加大量計算量。

本發(fā)明采用的技術(shù)手段如下：

一種基于自適應(yīng)匹配的視頻顯著性檢測方法，包括：

S1、獲取待檢測視頻，將待檢測視頻的第一幀圖像數(shù)據(jù)輸入分割網(wǎng)絡(luò)進(jìn)行處理，所述分割網(wǎng)絡(luò)包括特征提取網(wǎng)絡(luò)和預(yù)測網(wǎng)絡(luò)，所述特征提取網(wǎng)絡(luò)用于基于輸入圖像數(shù)據(jù)輸出4倍下采樣特征和8倍下采樣特征，所述預(yù)測網(wǎng)絡(luò)用于基于所述4倍下采樣特征和8倍下采樣特征輸出顯著性預(yù)測圖；

S2、建立一個記憶模塊存儲參考特征，所述參考特征通過第一幀前景特征進(jìn)行初始化；