[發明專利]基于跨模態哈希學習的視頻解析方法

有效

• 申請號: 202110447506.7
• 申請日: 2021-04-25
• 公開（公告）號: CN113111836B
• 公開（公告）日: 2022-08-19
• 發明（設計）人: 賈永坡;申培;胡宇鵬;甘甜;吳建龍;高贊;聶禮強
• 申請（專利權）人: 山東省人工智能研究院;山東大學;河鋼數字技術股份有限公司;河鋼集團有限公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/74;G06V10/77;G06V10/80;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 濟南泉城專利商標事務所 37218
• 代理人: 支文彬

一種基于跨模態哈希學習的視頻解析方法，實現多模態特征向漢明共空間的特征映射與融合，并利用漢明距離對具有語義相似性的視頻片段?查詢語句對，進行高效檢索。一方面引入雙向時序卷積網絡模型，深刻理解視頻單元的上下文信息，以及視頻內部的長期語義依賴；另一方面，引入基于多頭注意力機制的文本語義理解模型，對給定查詢語句進行有效表征，從而提高了視頻定位的精度。本發明的特征編碼模型是相互獨立的，即視頻片段候選集的生成與查詢語句特征集的表征，可以分開獨立運行。因此，當我們對給定視頻完成相應的候選集生成之后，可以根據不同用戶的多樣性需求，對當前視頻反復進行基于漢明距離度量的高效視頻定位。

技術領域

本發明涉及視頻語義分析技術領域，具體涉及一種基于跨模態哈希學習的視頻解析方法。

背景技術

隨著互聯網、云計算、大數據技術的迅猛發展與相互融合，視頻數據也隨之增長，并廣泛遍布于多樣的應用場景中以滿足人們的不同需求。由此，視頻檢索技術也日益受到廣泛關注。當前視頻檢索研究主要分為：(1)單模態檢索，即利用給定的視頻特征，從視頻數據庫中檢索出與之“特征相似”的視頻數據；(2)跨模態檢索，即利用給定的自然語言描述從視頻數據庫中檢索出與之“語義相似”的視頻數據。顯然，這種基于自然語言的視覺信息檢索，不僅是對傳統視頻檢索研究的深化，而且具有良好的人機交互性。但是，目前的跨模態檢索研究，僅能根據給定的簡單文本描述(“坐下”、“點頭”、“握手”等)從視頻集合中檢索出包含上述動作行為的完整視頻，即僅能判斷所給定視頻中是否包含與文本查詢具有相似“語義”視頻片段，而無法對目標視頻片段進行準確定位。但是對于給出查詢語句的相關用戶而言，從給定視頻上檢索出其所感興趣的視頻片段，肯定比單純檢索出包含相關片段的完整視頻，更加符合用戶的期望。例如，對于一段長度為30秒的監控視頻(包含復雜的視覺場景和動作行為)，相關安保人員可能迫切需要對對監控視頻中一個具體片段：“黑衣男子第二次拿出手機，開始通話”(開始于5.6秒，結束于17.1秒)進行視頻定位，以便于對可疑人員進行追蹤。由此可見，跨模態視頻定位研究更有意義，同時也具有更大的挑戰性。

跨模態視頻定位研究，不僅需要對視頻內部所涉及復雜的場景、對象、交互進行準確理解，而且需要對給定的文本查詢語句的自然語義邏輯，以及關鍵線索詞“黑衣”、“男子”、“第二次”、“手機”進行準確理解。更重要的是，需要對以上兩種模態特征，進行有效的跨模態特征融合，即：從給定視頻所描繪的復雜場景中準確定位出與查詢語義相匹配的視頻片段，同時對該場景中的其他動作行為進行“忽略”，智能且精準地實現目標視頻片段定位。

發明內容

本發明為了克服以上技術的不足，提供了一種從給定視頻中對不同文本查詢語句，所期望的視頻片段進行準確定位的方法。

本發明克服其技術問題所采用的技術方案是：

一種基于跨模態哈希學習的視頻解析方法，包括：

a)對第k條視頻數據V_k進行單元分割，k∈{1,...,K}，K為視頻數據總數，對分割后的視頻數據V_k輸入C3D網絡模型處理，將處理結果進行池化操作得到基于視頻單元的特征表征V_k⁽⁰⁾，為第r個視頻單元的特征表征，R為視頻單元的總個數；

b)通過公式基于雙向時序卷積網絡對V_k⁽⁰⁾進行上下文信息感知的特征增強，得到第i次雙向卷積處理后的視頻表征V_k⁽ⁱ⁾，式中ε為卷積核大小，ρ為稀疏率，Θ為雙向時序卷積操作，為經過第i次雙向卷積處理的第r個視頻單元的特征表征；