[發(fā)明專利]一種視頻內(nèi)容識(shí)別方法、裝置及電子設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 201710697177.5
• 申請(qǐng)日: 2017-08-15
• 公開（公告）號(hào): CN109409165A
• 公開（公告）日: 2019-03-01
• 發(fā)明（設(shè)計(jì)）人: 程戰(zhàn)戰(zhàn);鄭鋼;鈕毅;羅兵華
• 申請(qǐng)（專利權(quán)）人: 杭州海康威視數(shù)字技術(shù)股份有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/46
• 代理公司: 北京柏杉松知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11413
• 代理人: 馬敬;項(xiàng)京

1.一種視頻內(nèi)容識(shí)別方法，其特征在于，所述方法包括：

確定待識(shí)別的目標(biāo)視頻幀序列；

獲得所述目標(biāo)視頻幀序列中各個(gè)視頻幀的目標(biāo)圖像特征；

基于預(yù)先構(gòu)建的注意力模型，確定所獲得的各個(gè)目標(biāo)圖像特征所對(duì)應(yīng)的目標(biāo)權(quán)重值，其中，所述注意力模型為：以存在異常事件的視頻幀序列樣本所對(duì)應(yīng)的各個(gè)圖像特征為輸入內(nèi)容，以所述各個(gè)圖像特征對(duì)應(yīng)的權(quán)重值為輸出內(nèi)容訓(xùn)練所得到的，其中，在所述視頻幀序列樣本中，異常幀的圖像特征的權(quán)重值高于其他幀的權(quán)重值；

基于所述各個(gè)目標(biāo)圖像特征所對(duì)應(yīng)的目標(biāo)權(quán)重值，確定所述目標(biāo)視頻幀序列中是否存在異常事件。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述確定待識(shí)別的目標(biāo)視頻幀序列的步驟，包括：

確定待識(shí)別的目標(biāo)視頻；

按照預(yù)設(shè)提取長(zhǎng)度和預(yù)設(shè)滑動(dòng)步長(zhǎng)，從所述目標(biāo)視頻中獲得至少一個(gè)視頻幀序列；

從所述至少一個(gè)視頻幀序列中確定待識(shí)別的目標(biāo)視頻幀序列。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲得所述目標(biāo)視頻幀序列中各個(gè)視頻幀的目標(biāo)圖像特征的步驟，包括：

利用預(yù)設(shè)的卷積神經(jīng)網(wǎng)絡(luò)對(duì)所述目標(biāo)視頻幀序列進(jìn)行卷積計(jì)算，得到所述目標(biāo)視頻幀序列中各個(gè)視頻幀的初始圖像特征；

基于預(yù)設(shè)的第一循環(huán)神經(jīng)網(wǎng)絡(luò)，對(duì)所獲得的各個(gè)初始圖像特征進(jìn)行上下文關(guān)聯(lián)計(jì)算，得到所述目標(biāo)視頻幀序列中各個(gè)視頻幀的目標(biāo)圖像特征。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述各個(gè)目標(biāo)圖像特征所對(duì)應(yīng)的目標(biāo)權(quán)重值，確定所述目標(biāo)視頻幀序列中是否存在異常事件的步驟，包括：

確定在所述各個(gè)目標(biāo)圖像特征所對(duì)應(yīng)的目標(biāo)權(quán)重值中，是否存在大于其他目標(biāo)權(quán)重值的第一目標(biāo)權(quán)重值，若是，確定所述目標(biāo)視頻幀序列中存在異常事件，否則，確定所述目標(biāo)視頻幀序列中不存在異常事件。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述各個(gè)目標(biāo)圖像特征所對(duì)應(yīng)的目標(biāo)權(quán)重值，確定所述目標(biāo)視頻幀序列中是否存在異常事件的步驟，包括：

確定在所述各個(gè)目標(biāo)圖像特征所對(duì)應(yīng)的目標(biāo)權(quán)重值中，是否存在大于第一閾值且符合預(yù)定條件的至少兩個(gè)目標(biāo)權(quán)重值，其中，所述預(yù)定條件為所對(duì)應(yīng)的視頻幀連續(xù)；若是，確定所述目標(biāo)視頻幀序列中存在異常事件，否則，確定所述目標(biāo)視頻幀序列中不存在異常事件。

6.根據(jù)權(quán)利要求4所述的方法，其特征在于，在所述確定所述目標(biāo)視頻幀序列中存在異常事件的步驟之后，所述方法還包括：

將所述目標(biāo)視頻幀序列中第一目標(biāo)權(quán)重值所對(duì)應(yīng)的視頻幀，確定為所述目標(biāo)視頻幀序列中異常事件所對(duì)應(yīng)的視頻幀。

7.根據(jù)權(quán)利要求1-5任一項(xiàng)所述的方法，其特征在于，在確定出所述目標(biāo)視頻幀序列中存在異常事件之后，所述方法還包括：

針對(duì)每個(gè)目標(biāo)圖像特征，利用相應(yīng)的目標(biāo)權(quán)重值對(duì)該目標(biāo)圖像特征進(jìn)行加權(quán)計(jì)算，得到圖像特征加權(quán)值；

對(duì)所獲得的各個(gè)圖像特征加權(quán)值進(jìn)行求和，得到所述目標(biāo)視頻幀序列對(duì)應(yīng)的目標(biāo)加權(quán)圖像特征；

基于所述目標(biāo)加權(quán)圖像特征，確定所述目標(biāo)視頻幀序列所對(duì)應(yīng)的異常事件類型。

8.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述基于所述目標(biāo)加權(quán)圖像特征，確定所述目標(biāo)視頻幀序列所對(duì)應(yīng)的異常事件類型的步驟，包括：

基于預(yù)設(shè)的第二循環(huán)神經(jīng)網(wǎng)絡(luò)，確定與所述目標(biāo)加權(quán)圖像特征所對(duì)應(yīng)的異常事件類型，其中，所述第二循環(huán)神經(jīng)網(wǎng)絡(luò)為：以所述視頻幀序列樣本對(duì)應(yīng)的加權(quán)圖像特征為輸入內(nèi)容，以所述視頻幀序列樣本所對(duì)應(yīng)的異常事件類型為輸出內(nèi)容訓(xùn)練得到的；

將所確定出的異常事件類型確定為所述目標(biāo)視頻幀序列所對(duì)應(yīng)的異常事件類型。