[發明專利]基于融合多注意力機制和Graph的視頻語義分析方法

有效

• 申請號: 202010315106.6
• 申請日: 2020-04-21
• 公開（公告）號: CN111626116B
• 公開（公告）日: 2022-12-27
• 發明（設計）人: 郭杰龍;魏憲;郭列;王萬里;蘭海;邵東恒;張劍鋒;湯璇
• 申請（專利權）人: 泉州裝備制造研究所
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/82;G06V10/80
• 代理公司: 北京科億知識產權代理事務所(普通合伙) 11350
• 代理人: 湯東鳳

本發明公開了一種基于融合多注意力機制和Graph的視頻語義分析方法。該方法包括首先從視頻中提取圖像數據；在殘差網絡的基礎上融合基于卷積注意力模塊的注意力機制，以提取圖像特征；利用文本中的知識預訓練出一個具有先驗知識的字典；通過基于多圖卷機網絡將提取的圖像特征和中的目標關系屬性信息轉化成圖調制特征；再將圖調制特征導入長短時記憶網絡生成描述的句子；最終得到視頻語義文本內容數據，輸出該數據。本發明最終能夠得到準確度較高的視頻語義文本數據。本發明結合硬件實體的監控設備，可以為公共安全提供更多智能視頻分析和提前預警功能，極大程度上提高視頻監控的效率，發揮視頻資源的最大用途。

技術領域

本發明涉及視頻語義分析技術領域，尤其涉及智能安防視頻語義監控技術。

背景技術

隨著現代科技的不斷發展進步，人們對人工智能的關注程度越來越高。多媒體技術和互聯網絡技術的快速發展，海量的以視頻為主多媒體數據出現，如何高效地處理這些視頻數據是目前一個研究熱點。伴隨著深度學習的出現，人工智能技術得到了飛速發展，計算機對于圖像識別的準確率得到了大幅度提升。其中圖像分類，物體檢測,圖像分割等算法準確率都得到了飛速提升。隨之又出現了多模態的視頻語義分析技術，該技術成功建立了視頻和文本之間的聯系。

為了提高公共安全行政管理工作效率和質量，進一步的提高城市居民的安全感，國家行政機關維護社會的公共安全各秩序，保障公民的合法權益和社會各項活動的正常進行正在經歷嚴峻考驗。如何加強準確預防犯罪和提高執法服務質量，將先進的科學技術運用到公安實際工作中，不斷提高執法工作的科學性和高效性，已經成為當前公共安全科技創新的重要挑戰。近年來，報警監控系統一直駐守在重點安防區域的前線，報警柱視頻監控技術也有長足的發展。公共安全實時圖像監控系統，特別是移動視頻監控系統功能不斷完善，在管理社會治安防控、處理突發事件和重大安全保衛等各項工作中得并發揮了重要作用。因此，結合基于人工智能的視頻流事件分析方法，設計和開發切合當前實際的社區環境下的治安監控綜合報警系統，具有十分重要意義。

該技術大多數采用編碼器-解碼器框架，其中將卷積神經網絡作為編碼器，將LSTM作為解碼器用于描述圖像內容語句的生成。但是，這類算法也存在一定的缺陷。(1)因為卷積神經網絡提取圖像特征時，僅提取了圖像的深度特征，而忽略了底層的特征，深度特征對圖像中物體識別準確率有較大貢獻，但是對不同物體間關系的識別準確率貢獻不高，單純提取深度特征在圖像特征利用方面具有不足；(2)單一的圖像特征作為編碼器無法建立視頻語義目標之間的屬性，關系。因此，視頻語義分析過程中，對視頻內容信息的理解產生一定的偏差，最終導致生成的描述語言不能準確描述視頻的語義信息。針對該技術現有進展中存在問題。

發明內容

本發明旨在解決現有的技術問題，而提供一種基于融合多注意力機制和Graph的視頻語義分析方法。

為達到上述目的，本發明采取的具體技術方案為：

一種基于融合多注意力機制和Graph的視頻語義分析方法，本發明方法包括以下步驟：

步驟1：從視頻中提取圖像數據；

步驟2：在殘差網絡的基礎上融合基于卷積注意力模塊的注意力機制(CBAM)，以提取圖像特征；

步驟3：利用文本中的知識預訓練出一個具有先驗知識的字典，這個字典包含了文本之間目標關系屬性信息；

步驟4：通過基于多圖卷機網絡(MGCN)將“步驟2”提取的圖像特征和“步驟3”中的目標關系屬性信息轉化成圖調制特征；

步驟5：再將圖調制特征導入長短時記憶網絡(LSTM)生成描述的句子；

步驟6：最終得到視頻語義文本內容數據，輸出該數據。

進一步的，所述步驟2中：融合CBAM注意力機制的殘差網絡提取圖像特征，其中，兩種注意力機制圖如圖3所示，融合兩種注意力機制的殘差網絡如圖4所示。