[發(fā)明專利]一種基于前景信息增強(qiáng)的視頻異常檢測(cè)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202210006317.0
• 申請(qǐng)日: 2022-01-04
• 公開(kāi)（公告）號(hào): CN114332071A
• 公開(kāi)（公告）日: 2022-04-12
• 發(fā)明（設(shè)計(jì)）人: 王豐;鄺永年;梁振華
• 申請(qǐng)（專利權(quán)）人: 廣東工業(yè)大學(xué)
• 主分類號(hào): G06T7/00
• 分類號(hào): G06T7/00;G06T7/194;G06N3/04;G06N3/08
• 代理公司: 廣東廣信君達(dá)律師事務(wù)所 44329
• 代理人: 戴緒霖

本發(fā)明公開(kāi)了一種基于前景信息增強(qiáng)的視頻異常檢測(cè)方法，包括：將視頻幀進(jìn)行背景與前景的分割的預(yù)處理；搭建生成網(wǎng)絡(luò)以及判別網(wǎng)絡(luò)模型；將預(yù)處理后的視頻輸入生成網(wǎng)絡(luò)，生成下一幀預(yù)測(cè)視頻幀，構(gòu)建生成網(wǎng)絡(luò)的損失函數(shù)，在損失函數(shù)中加入RGB三色強(qiáng)度約束以及梯度約束用來(lái)保證視頻幀在空間上的連續(xù)性，加入運(yùn)動(dòng)約束用來(lái)保證視頻幀在時(shí)間上的連續(xù)性，加入對(duì)抗約束用來(lái)與判別網(wǎng)絡(luò)進(jìn)行對(duì)抗；構(gòu)建判別網(wǎng)絡(luò)的損失函數(shù)，利用判別器進(jìn)行預(yù)測(cè)視頻幀以及對(duì)應(yīng)的實(shí)際視頻幀的區(qū)分；以訓(xùn)練集中的多組正常行為的視頻幀訓(xùn)練生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)；將待判別的視頻幀數(shù)據(jù)輸入訓(xùn)練好的生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)中，得出基于自適應(yīng)峰值信噪比，判斷異常行為是否發(fā)生。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺(jué)領(lǐng)域，涉及深度學(xué)習(xí)、視頻異常檢測(cè)技術(shù)，具體涉及一種基于前景信息增強(qiáng)的視頻異常檢測(cè)方法。

背景技術(shù)

隨著視頻采集聯(lián)網(wǎng)設(shè)備的廣泛部署，視頻和圖像體量增長(zhǎng)迅速，長(zhǎng)短視頻數(shù)據(jù)占據(jù)了互聯(lián)網(wǎng)流量的大部分。因此，如何高效快速分析視頻數(shù)據(jù)，提取有用信息，輔助人工智能決策，是當(dāng)前計(jì)算機(jī)視覺(jué)領(lǐng)域亟待解決的重大課題。

安防領(lǐng)域作為計(jì)算機(jī)視覺(jué)應(yīng)用的重要領(lǐng)域，依賴于快速可靠的視頻數(shù)據(jù)分析性能。特別的，在監(jiān)控視頻中，最常見(jiàn)的需求就是要自動(dòng)識(shí)別視頻流中的異常事件，也就是視頻異常檢測(cè)任務(wù)。其中，計(jì)算機(jī)視覺(jué)與深度學(xué)習(xí)相結(jié)合的技術(shù)是解決各類復(fù)雜的視頻圖像處理問(wèn)題的有效方法。計(jì)算機(jī)視覺(jué)是使用計(jì)算機(jī)及相關(guān)設(shè)備對(duì)生物視覺(jué)的一種模擬，是人工智能領(lǐng)域的一個(gè)重要部分，它主要任務(wù)是通過(guò)對(duì)采集的圖片或視頻數(shù)據(jù)進(jìn)行處理以獲得相應(yīng)場(chǎng)景的信息。

在傳統(tǒng)的計(jì)算機(jī)視覺(jué)系統(tǒng)中，其主要目標(biāo)是從圖像中提取特征，包括邊緣檢測(cè)、角點(diǎn)檢測(cè)、基于顏色的分割等子任務(wù)。傳統(tǒng)計(jì)算機(jī)視覺(jué)系統(tǒng)需要預(yù)先確定圖像特征，采用一些特征提取算法(如尺度不變特征變換匹配算法、加速魯棒特征算法等)，檢測(cè)算法性能的提升可以通過(guò)人工微調(diào)來(lái)解決，并且需要針對(duì)特定的應(yīng)用程序進(jìn)行硬編碼，這對(duì)高質(zhì)量計(jì)算機(jī)視覺(jué)的實(shí)現(xiàn)造成了很大的障礙。基于深度學(xué)習(xí)的計(jì)算機(jī)視覺(jué)系統(tǒng)，是訓(xùn)練深度學(xué)習(xí)系統(tǒng)內(nèi)的神經(jīng)網(wǎng)絡(luò)，可以避免通過(guò)復(fù)雜的編程算法來(lái)搜索特定特征。隨著計(jì)算機(jī)算力的增強(qiáng)，基于深度的學(xué)習(xí)的計(jì)算機(jī)視覺(jué)有望自動(dòng)訓(xùn)練和改進(jìn)模型，以改善視頻數(shù)據(jù)分析性能。

當(dāng)前基于深度學(xué)習(xí)的視頻異常檢測(cè)模型，主要包括基于未來(lái)幀預(yù)測(cè)的視頻異常檢測(cè)模型、基于概率的視頻異常檢測(cè)模型、基于距離的視頻異常檢測(cè)模型、基于重構(gòu)的視頻異常檢測(cè)模型、基于域的視頻異常檢測(cè)等。然而，異常事件通常是不可預(yù)測(cè)的。當(dāng)前視頻異常檢測(cè)方法并未考慮在數(shù)據(jù)預(yù)處理時(shí)把前景和背景分開(kāi)，以至于背景的信息也會(huì)進(jìn)入深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)中，浪費(fèi)部分資源在研究提取背景的特征，而背景的特征數(shù)據(jù)在視頻異常檢測(cè)中作用有限。其次，異常事件的檢測(cè)是依靠判斷重構(gòu)圖像與實(shí)際圖像的差異。由于大部分算法是比較圖像整體的峰值信噪比(PSNR,Peak Signal to Noise Ratio)的，導(dǎo)致小范圍異常幀難以檢測(cè)，降低了異常檢測(cè)的正確率。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種基于前景信息增強(qiáng)的視頻異常檢測(cè)方法，針對(duì)視頻智能化決策的需求，對(duì)異常情況進(jìn)行判斷檢測(cè)，提高視頻異常檢測(cè)的精度以及處理的效率。

為了實(shí)現(xiàn)上述任務(wù)，本發(fā)明采用以下技術(shù)方案：

一種基于前景信息增強(qiáng)的視頻異常檢測(cè)方法，包括以下步驟：

步驟1，將訓(xùn)練集中連續(xù)的t+1幀視頻幀進(jìn)行背景與前景的分割的預(yù)處理，保留視頻圖像的前景區(qū)域；

步驟2，搭建生成網(wǎng)絡(luò)以及判別網(wǎng)絡(luò)模型；其中，生成網(wǎng)絡(luò)包括生成器和光流網(wǎng)絡(luò)；