[發(fā)明專利]基于多媒體語(yǔ)義解析的監(jiān)控視頻智能預(yù)警方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110447507.1
• 申請(qǐng)日: 2021-04-25
• 公開（公告）號(hào): CN113111837B
• 公開（公告）日: 2022-05-13
• 發(fā)明（設(shè)計(jì)）人: 胡宇鵬;賈永坡;高贊;宋雪萌;尹建華;李毅仁;聶禮強(qiáng)
• 申請(qǐng)（專利權(quán)）人: 山東省人工智能研究院;山東大學(xué);河鋼數(shù)字技術(shù)股份有限公司;河鋼集團(tuán)有限公司
• 主分類號(hào): G06V20/40
• 分類號(hào): G06V20/40;G06V20/52;G06V10/74;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 濟(jì)南泉城專利商標(biāo)事務(wù)所 37218
• 代理人: 支文彬

一種基于多媒體語(yǔ)義解析的監(jiān)控視頻智能預(yù)警方法，通過(guò)建立跨模態(tài)語(yǔ)義對(duì)齊模型對(duì)視頻中所包含的復(fù)雜對(duì)象與交互進(jìn)行準(zhǔn)確理解，并生成視頻片段時(shí)空位置圖和視頻語(yǔ)義樹，另一方面，引入基于雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)的文本編碼模塊，對(duì)查詢語(yǔ)句中的文本語(yǔ)義進(jìn)行深刻理解與表征。實(shí)現(xiàn)多模態(tài)特征向共空間的特征映射與融合，并利用語(yǔ)義剪枝策略，粗粒度篩選出精煉的“視頻片段?查詢語(yǔ)句”對(duì)，進(jìn)行細(xì)粒度語(yǔ)義匹配計(jì)算，從而確保跨模態(tài)視頻定位的精度與效率。

技術(shù)領(lǐng)域

本發(fā)明涉及監(jiān)控預(yù)警技術(shù)領(lǐng)域，具體涉及一種基于多媒體語(yǔ)義解析的監(jiān)控視頻智能預(yù)警方法。

背景技術(shù)

為了維護(hù)社會(huì)治安，視頻監(jiān)控系統(tǒng)被廣泛應(yīng)用于各種公共場(chǎng)所。然而，現(xiàn)有監(jiān)控系統(tǒng)大多采取先錄制后分析的工作方式，無(wú)法對(duì)監(jiān)控視頻中的目標(biāo)片段進(jìn)行實(shí)時(shí)且智能的檢索。為此，本發(fā)明針對(duì)跨模態(tài)視頻檢索技術(shù)展開研究，即通過(guò)以自然語(yǔ)言進(jìn)行描述的查詢語(yǔ)句，從監(jiān)控視頻中檢索出與查詢語(yǔ)義相匹配的視頻片段，同時(shí)明確該片段的時(shí)序區(qū)間。例如，根據(jù)以自然語(yǔ)言進(jìn)行描述的查詢語(yǔ)句(“未戴口罩的黑衣男子走入7-Eleven便利店”)，在監(jiān)控視頻中檢索出與查詢語(yǔ)義相匹配的目標(biāo)行為視頻片段并對(duì)該視頻片段的時(shí)序區(qū)間(起始于20.1秒，終止于29.8秒)進(jìn)行精準(zhǔn)定位。

不難發(fā)現(xiàn)，基于自然語(yǔ)言的跨模態(tài)視頻定位研究，不僅是對(duì)傳統(tǒng)視頻檢索研究的深化，而且跨模態(tài)檢索也具有良好的人機(jī)交互性。目前該研究主要存在以下兩個(gè)挑戰(zhàn)：

(1)有效的跨模態(tài)語(yǔ)義對(duì)齊。對(duì)于一條給定的監(jiān)控視頻，不同用戶所期望定位的目標(biāo)視頻片段具有明顯的多樣性。譬如，針對(duì)同一條監(jiān)控視頻，用戶A期望查詢“未戴口罩的黑衣男子走過(guò)郵局，隨后進(jìn)入7-Eleven便利店”的視頻片段，而用戶B期望查詢“未戴口罩的黑衣男子走過(guò)郵局”的視頻片段，上述兩個(gè)目標(biāo)片段在邏輯語(yǔ)義上存在明顯差異，因此如何針對(duì)不同用戶的文本查詢語(yǔ)句，能夠在監(jiān)控視頻上進(jìn)行有效的跨模態(tài)語(yǔ)義對(duì)齊，是非常具有挑選性的。

(2)高效的跨模態(tài)視頻定位。針對(duì)給定監(jiān)控視頻，可能需要基于一條文本查詢語(yǔ)句，對(duì)監(jiān)控視頻進(jìn)行“查詢?cè)~-視頻幀”級(jí)別的語(yǔ)義相似性度量，從而定位出用戶期望的目標(biāo)片段。而如果存在針對(duì)當(dāng)前視頻的多條查詢語(yǔ)句，那么就必須迭代執(zhí)行目標(biāo)片段定位操作，直到全部查詢語(yǔ)句處理完畢。顯然，這種方式將嚴(yán)重影響視頻定位的效率，因此，高效的跨模態(tài)視頻定位，也同樣具有挑戰(zhàn)性。

發(fā)明內(nèi)容

本發(fā)明為了克服以上技術(shù)的不足，提供了一種通過(guò)構(gòu)建一個(gè)多粒度跨模態(tài)語(yǔ)義對(duì)齊模型，從給定視頻中對(duì)不同文本查詢語(yǔ)句所期望的目標(biāo)片段進(jìn)行準(zhǔn)確定位的基于多媒體語(yǔ)義解析的監(jiān)控視頻智能預(yù)警方法。

本發(fā)明克服其技術(shù)問題所采用的技術(shù)方案是：

一種基于多媒體語(yǔ)義解析的監(jiān)控視頻智能預(yù)警方法，包括：

a)對(duì)第k條視頻數(shù)據(jù)V_k進(jìn)行單元分割，k∈{1,...,K}，K為視頻數(shù)據(jù)總數(shù)，對(duì)分割后的視頻數(shù)據(jù)V_k利用卷積網(wǎng)絡(luò)和雙向時(shí)序卷積網(wǎng)絡(luò)卷積處理后得到視頻單元表征集合

b)對(duì)單元表征集合進(jìn)行池化操作，得到不同長(zhǎng)度的視頻片段表征，將不同長(zhǎng)度的視頻片段表征輸入多層感知機(jī)模型，得到視頻片段表征集合

c)將集合中按照視頻片段各自的起止單元的起止信息重新排序形成矩陣J_k；

d)從集合中選取能夠表示視頻語(yǔ)義層級(jí)信息的標(biāo)志性片段形成錨集合A_k，根據(jù)錨集合A_k構(gòu)建視頻語(yǔ)義樹I_k；

e)對(duì)第k條視頻數(shù)據(jù)V_k的全體查詢語(yǔ)句構(gòu)成的集合Q_k通過(guò)基于長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)與多層感知機(jī)網(wǎng)絡(luò)的語(yǔ)義理解，生成相應(yīng)的查詢語(yǔ)句表征集合