[發明專利]基于空間時序特征的視頻自然語言文本檢索方法

在審

• 申請號: 202110968279.2
• 申請日: 2021-08-23
• 公開（公告）號: CN113704546A
• 公開（公告）日: 2021-11-26
• 發明（設計）人: 王笛;田玉敏;羅雪梅;丁子芮;萬波;王義峰;趙輝
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06F16/78
• 分類號: G06F16/78;G06F16/783;G06F16/33;G06F40/30;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 田文英;王品華

一種基于空間時序特征的視頻文本檢索方法，利用三種不同類型的神經網絡對視頻的空間時序語義信息進行了層次化細粒度全面的視頻統一表征，構建視頻文本公共語義嵌入網絡擬合跨模態數據的語義鴻溝并利用對比排序損失函數訓練網絡。本發明可用于視頻自然語言文本相互檢索，分層的特征提取方法充分挖掘了視頻模態數據更具判別性的復雜時空語義信息，視頻文本公共語義嵌入網絡有效地學習不同模態異構數據語義特征同分布的公共空間特征表示，公共空間特征表示準確衡量了視頻和自然語言文本高階特征間的語義關聯，提高了視頻自然語言文本檢索的精度。

技術領域

本發明屬于物理技術領域，更進一步涉及圖像與數據處理技術領域中的一種基于空間時序特征的視頻自然語言文本檢索方法。本發明可用于互聯網和社交媒體涌現的大規模視頻模態和自然語言文本模態數據的語義信息互檢索、視頻主題檢測和視頻應用的內容推薦。

背景技術

用戶生成的視頻在互聯網上的大量涌現，增加了對基于自然語言文本描述的視頻檢索系統的需求，用戶對檢索準確度的要求也為視頻內容的精確檢索帶來了前所未有的挑戰。傳統方法主要是支持簡單自然語言文本查詢的基于概念的檢索，這對于具有復雜語義的復雜長自然語言文本查詢無效。近年來，興起了基于嵌入的檢索方法，將視頻和自然語言文本模態映射到聯合視覺語義共享空間以計算跨模態語義相似度作為檢索工作的依托。但是簡單的嵌入不足以表示復雜的、細粒度的、時空性的視覺自然語言文本語義，例如復雜的場景、多元的空間對象及帶有時序信息的動作信息，導致視頻自然語言文本檢索精度無法提升，檢索效果不足以滿足需求。所以能更加細粒度地對視頻模態和自然語言文本模態數據的空間時序信息建模，并在不同粒度將視頻特征和自然語言文本特征進行多層級匹配以提高檢索精度是該領域研究的關鍵。

北京航空航天大學在其在其申請的專利文獻“一種基于內容的視頻檢索方法及裝置”(專利申請號：2016109784348，申請公布號：CN 106570165 A)中提出了一種基于內容的視頻檢索方法。該方法使用任一目標關鍵幀編碼對由關鍵幀編碼構成的多個哈希表進行檢索，確定與任一目標關鍵幀編碼匹配的關鍵幀編碼；計算任一目標關鍵幀編碼與每個匹配關鍵幀編碼之間的相似度分值；基于關鍵幀的時序信息，根據每個目標關鍵幀編碼與每個匹配關鍵幀編碼之間的相似度分值，計算目標視頻與每個匹配視頻之間的整體相似度分值；將大于自適應得分閾值的整體相似度分值對應的匹配視頻作為檢索結果。該方法存在的不足之處是：不同模態數據語義特征存在異質性底層流形結構分布不同的語義鴻溝，通過簡單編碼無法實現跨模態數據的全面統一表征，影響視頻自然語言文本檢索精度。

復旦大學在其在其申請的專利文獻“一種用于多段視頻跨模態檢索的方法”(專利申請號：201910453196.2，申請公布號：CN 110175266 A)中提出了一種基于深度神經網絡與特征語義關聯性的對多段視頻進行跨模態檢索的方法。該方法針對長自然語言文本跨模態檢索復雜視頻任務設計了雙邊自注意力方法以提取視頻中與檢索自然語言文本相關的特征，具體是使用帶有自注意力機制的跨模態檢模型初選出一小部分相關的視頻片段，再根據同模態和跨模態相似度進一步精選視頻片段，最后用語義排序網絡將視頻片段序列與自然語言文本句子序列對齊。該方法存在的不足之處是：視頻和自然語言文本屬于不同模態的數據，數據的異質性使得簡單通過單獨的深度神經網絡進行單一特征提取難以準確表達視頻與自然語言文本復雜的時空性語義特征，進而難以衡量視頻和自然語言文本的高階特征間相似性，影響檢索準確率。