[發(fā)明專利]一種基于弱監(jiān)督學(xué)習(xí)的視頻異常事件檢測(cè)系統(tǒng)及其方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201811345314.X
• 申請(qǐng)日: 2018-11-13
• 公開（公告）號(hào): CN109508671B
• 公開（公告）日: 2023-06-06
• 發(fā)明（設(shè)計(jì)）人: 安欣賞;李楠楠;張世雄;張子堯;李革;張偉民
• 申請(qǐng)（專利權(quán)）人: 深圳龍崗智能視聽研究院
• 主分類號(hào): G06V20/40
• 分類號(hào): G06V20/40;G06V10/764;G06V10/82;G06N3/0475;G06N3/0895
• 代理公司: 北京京萬通知識(shí)產(chǎn)權(quán)代理有限公司 11440
• 代理人: 萬學(xué)堂;魏振華

1.一種基于弱監(jiān)督學(xué)習(xí)的視頻異常事件檢測(cè)系統(tǒng)，其特征在于，包括視頻片段層次結(jié)構(gòu)深度特征提取模塊、行為實(shí)例包弱監(jiān)督學(xué)習(xí)模塊以及行為實(shí)例異常得分損失函數(shù)約束模塊；其中：

所述的視頻片段層次結(jié)構(gòu)深度特征提取模塊，用于對(duì)指定長度的視頻片段也即行為實(shí)例，提取多個(gè)層次的RGB圖像-光流圖像聯(lián)合表述特征；

所述的行為實(shí)例包弱監(jiān)督學(xué)習(xí)模塊，用于將包含多個(gè)行為實(shí)例的視頻序列作為一個(gè)整體，只使用正常/異常的視頻標(biāo)簽，進(jìn)行弱監(jiān)督學(xué)習(xí)；

所述的行為實(shí)例異常得分損失函數(shù)約束模塊，用于約束行為實(shí)例得分符合視頻事件連續(xù)性、異常事件偶發(fā)性的性質(zhì)，來指導(dǎo)異常事件評(píng)分網(wǎng)絡(luò)更加有效地進(jìn)行學(xué)習(xí)；

所述的損失函數(shù)約束模塊具體包括：正/負(fù)樣本行為實(shí)例包異常事件得分偏序約束模塊，即要求正樣本包中行為實(shí)例最大得分要大于負(fù)樣本包中行為實(shí)例最大得分，以保證訓(xùn)練樣本在異常事件得分分布上的一致性；時(shí)間上連續(xù)的行為實(shí)例異常得分平滑性約束模塊，即要求同一視頻序列中相鄰的行為實(shí)例間的異常得分差異要盡量的小，以保證視頻事件連續(xù)發(fā)展的性質(zhì)；高異常得分行為實(shí)例稀疏性約束模塊，即要求給定的一段視頻序列中，取得高異常得分的行為實(shí)例的數(shù)量要盡量的少，以保證視頻中異常事件偶發(fā)性的性質(zhì)；

這三個(gè)約束可用式(3)表述：

在式(3)中，第一項(xiàng)max(0,為正樣本行為實(shí)例包G_n和負(fù)樣本行為實(shí)例包G_a之間的偏序約束，即要求G_a中行為實(shí)例最大得分要大于G_n中行為實(shí)例最大得分，其中為G_n中第i個(gè)行為實(shí)例得分，為G_a中第j個(gè)行為實(shí)例得分；第二項(xiàng)約束為視頻序列中相鄰行為實(shí)例得分連貫性約束；第三項(xiàng)約束為視頻序列中異常行為實(shí)例分布稀疏性約束，λ₁和λ₂為權(quán)重調(diào)整系數(shù)，分別取0.3；綜合第二項(xiàng)和第三項(xiàng)約束反映了異常事件在視頻中稀疏分布以及視頻事件連續(xù)變化發(fā)展的特性。

2.根據(jù)權(quán)利要求1所述的基于弱監(jiān)督學(xué)習(xí)的視頻異常事件檢測(cè)系統(tǒng)，其特征是，所述視頻片段層次結(jié)構(gòu)深度特征提取模塊具體包括：

RGB圖像-光流圖像深度特征提取網(wǎng)絡(luò)，用于提取行為實(shí)例在指定的劃分層次上外形-運(yùn)動(dòng)信息的聯(lián)合表述特征；

行為實(shí)例多層次結(jié)構(gòu)劃分模塊，用于對(duì)行為實(shí)例進(jìn)行多個(gè)層次的結(jié)構(gòu)劃分，提取從粗到細(xì)多個(gè)粒度上的外形-運(yùn)動(dòng)信息聯(lián)合表述特征。

3.根據(jù)權(quán)利要求1所述的基于弱監(jiān)督學(xué)習(xí)的視頻異常事件檢測(cè)系統(tǒng)，其特征是，所述行為實(shí)例包弱監(jiān)督學(xué)習(xí)模塊具體包括：

正/負(fù)樣本行為實(shí)例包設(shè)置，即把一段視頻作為一個(gè)行為實(shí)例包，根據(jù)其類別標(biāo)簽分別作為正樣本行為實(shí)例包和負(fù)樣本行為實(shí)例包，構(gòu)建行為實(shí)例包用于實(shí)現(xiàn)弱監(jiān)督學(xué)習(xí)中的偏序?qū)W習(xí)；

行為實(shí)例異常事件分類網(wǎng)絡(luò)，即構(gòu)建一個(gè)多層次深度神經(jīng)網(wǎng)絡(luò)模型對(duì)行為實(shí)例進(jìn)行異常度評(píng)分，若為異常，則期望輸出值為1，若為正常，則期望輸出值為0。

4.一種基于弱監(jiān)督學(xué)習(xí)的視頻異常事件檢測(cè)方法，應(yīng)用權(quán)利要求1-3任意一項(xiàng)檢測(cè)系統(tǒng)，其特征在于，包括以下步驟：

步驟1：對(duì)輸入視頻進(jìn)行劃分，構(gòu)建行為實(shí)例包；

步驟2：利用深度網(wǎng)絡(luò)模型提取行為實(shí)例的多層次外形-運(yùn)動(dòng)信息聯(lián)合表述特征；

步驟3：把聯(lián)合表述特征輸入到異常事件分類網(wǎng)絡(luò)，得到行為實(shí)例得分；根據(jù)設(shè)定的得分閾值，得到異常事件檢測(cè)結(jié)果。

5.根據(jù)權(quán)利要求4所述的一種基于弱監(jiān)督學(xué)習(xí)的視頻異常事件檢測(cè)方法，其特征在于：所述的步驟1：對(duì)輸入視頻進(jìn)行均勻劃分，每段包括若干幀，構(gòu)成一個(gè)行為實(shí)例，一個(gè)視頻序列所有的行為實(shí)例構(gòu)成一個(gè)整體，稱之為實(shí)例包。

6.根據(jù)權(quán)利要求4所述的一種基于弱監(jiān)督學(xué)習(xí)的視頻異常事件檢測(cè)方法，其特征在于：所述的步驟2：利用深度學(xué)習(xí)模型對(duì)每個(gè)行為實(shí)例提取外形和運(yùn)動(dòng)聯(lián)合表述層次結(jié)構(gòu)特征。