[發(fā)明專利]一種基于卷積神經(jīng)網(wǎng)絡(luò)模型的暴恐視頻檢測方法

有效

• 申請?zhí)枺?/td>: 201611128390.6
• 申請日: 2016-12-09
• 公開（公告）號: CN106778590B
• 公開（公告）日: 2020-07-17
• 發(fā)明（設(shè)計(jì)）人: 紀(jì)榮嶸;林賢明;沈云航
• 申請（專利權(quán)）人: 廈門大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06N3/02
• 代理公司: 廈門南強(qiáng)之路專利事務(wù)所(普通合伙) 35200
• 代理人: 馬應(yīng)森

一種基于卷積神經(jīng)網(wǎng)絡(luò)模型的暴恐視頻檢測方法，涉及計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)。包括以下步驟：1)深度神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練；2)在線暴恐視頻檢測。利用深度學(xué)習(xí)模型組合低層特征，形成更加抽象的高層表示屬性或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。通過該模型能夠獲取描述能力強(qiáng)的視頻圖像特征描述子。該特征描述子涵蓋了視頻圖像從低到高各個層次的特征信息，從而大大提高了暴恐視頻檢測的準(zhǔn)確率和召回率。通過少量樣本來訓(xùn)練深度卷積網(wǎng)絡(luò)來獲得優(yōu)秀的檢測性能。對恐怖圖片檢測準(zhǔn)確率達(dá)99％以上，召回率達(dá)98％以上。對于恐怖視頻檢測準(zhǔn)確率達(dá)95％，召回率達(dá)99％。訓(xùn)練過程無需人工參與，自動根據(jù)少量樣本生成海量數(shù)據(jù)。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)，尤其是涉及一種基于卷積神經(jīng)網(wǎng)絡(luò)模型的暴恐視頻檢測方法。

背景技術(shù)

恐怖主義的橫行給世界各國人民帶來了巨大災(zāi)難和傷痛。它造成了重大人員傷亡和財(cái)產(chǎn)損失，妨礙國家安全和社會穩(wěn)定，其危害性遠(yuǎn)超普通刑事犯罪。恐怖主義思想散播的一個主要渠道便是通過視頻圖像進(jìn)行傳播。目前對暴恐視頻的檢測主要通過人工審核標(biāo)注，耗費(fèi)大量財(cái)力物力。若對視頻或者圖片文件重新進(jìn)行編輯(如翻拍、轉(zhuǎn)錄)，則又需要重新人工審核，效率十分低下。因此面對數(shù)據(jù)量日益增長的互聯(lián)網(wǎng)，需要一種新型的技術(shù)自動過濾恐怖主義視頻圖像內(nèi)容，并可以在重要公共場所布控預(yù)警。

現(xiàn)有的各種視頻圖像特征描述子(如sift、gist、mser、hessian等描述子)描述能力有限，難以全面準(zhǔn)確描述視頻圖像中的內(nèi)容，尤其在暴恐視頻中需要針對特定的目標(biāo)進(jìn)行檢測，從而導(dǎo)致該檢測工作準(zhǔn)確率(precious)和召回率(recall)相對較低。

目前市場上最相近的技術(shù)實(shí)現(xiàn)方案是利用文件的特征碼進(jìn)行過濾。特征碼主要有MD5、SHA和CRC32等。使用特征碼的方法只能過濾原始的文件。若文件發(fā)生了哪怕一比特的改變(轉(zhuǎn)換格式，翻拍，視頻圖像編輯等)，文件的特征碼就會發(fā)生改變，此時就無法過濾此文件。因此對于新出現(xiàn)的暴恐視頻，檢測方法主要通過人工審核。

現(xiàn)有的各種視頻圖像特征描述子(如sift、gist、mser、hessian等描述子)描述能力有限，難以全面準(zhǔn)確描述視頻圖像中的內(nèi)容，尤其在暴恐視頻中需要針對特定的目標(biāo)進(jìn)行檢測，從而導(dǎo)致該檢測工作準(zhǔn)確率(precious)和召回率(recall)相對較低。因此大部分情況下只能通過人工審核。人工審核費(fèi)時費(fèi)力，在當(dāng)前信息爆炸時代非常有局限性。

深度學(xué)習(xí)的概念由Hinton等(Geoffrey E.,Simon Osindero,and Yee-WhyeTeh.A fast learning algorithm for deep belief nets.Neural computation 18.7(2006):1527-1554.)于2006年提出。基于深信度網(wǎng)(DBN)提出非監(jiān)督貪心逐層訓(xùn)練算法，為解決深層結(jié)構(gòu)相關(guān)的優(yōu)化難題帶來希望，隨后提出多層自動編碼器深層結(jié)構(gòu)。此外Lecun等(LeCun,Y.,Bottou,L.,Bengio,Y.,Haffner,P.(1998).Gradient-based learningapplied to document recognition.Proceedings of the IEEE,86(11),2278-2324.)提出的卷積神經(jīng)網(wǎng)絡(luò)是第一個真正多層結(jié)構(gòu)學(xué)習(xí)算法，它利用空間相對關(guān)系減少參數(shù)數(shù)目以提高訓(xùn)練性能。

發(fā)明內(nèi)容

本發(fā)明的目的在于針對現(xiàn)有技術(shù)存在的上述問題，提供一種基于卷積神經(jīng)網(wǎng)絡(luò)模型的暴恐視頻檢測方法。

本發(fā)明包括以下步驟：

1)深度神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練，具體方法如下：

訓(xùn)練數(shù)據(jù)：

正樣本：每個類別一張清晰包含特定目標(biāo)的暴恐圖片或者視頻幀,所述特定目標(biāo)包括但不限于LOGO、旗幟；

負(fù)樣本：數(shù)百萬張左右網(wǎng)絡(luò)下載的正常圖片；