[發明專利]基于差分多尺度多粒度特征融合的視頻文本檢索方法

在審

• 申請號: 202310050175.2
• 申請日: 2023-02-01
• 公開（公告）號: CN116226449A
• 公開（公告）日: 2023-06-06
• 發明（設計）人: 王笛;李錦峰;王泉;萬波;田玉敏;劉錦輝;王義峰;羅雪梅;安玲玲;趙輝
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06F16/783
• 分類號: G06F16/783;G06F16/75;G06N3/08;G06N3/0464
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 王品華

本發明公開了一種基于差分多尺度多粒度特征融合的視頻文本檢索方法，主要解決現有技術未充分利用視頻時序特征及細粒度信息文本標注造成視頻文本匹配精度低的問題，其實現方案為：獲取視頻幀序列及文本標注序列；構建特征提取網絡并提取文本標注的全局和局部特征；將視頻幀特征按時間序列差分并通過序列特征提取網絡與幀特征結合得到視頻的局部和全局特征；計算視頻和文本標注的全局相似度和局部相似度，計算出損失函數；利用損失函數訓練網絡；利用訓練好的網絡計算視頻與文本標注的相似度并排序得到檢索結果。本發明能減少不同模態之間的語義鴻溝，挖掘視頻模態數據中的時序信息，提升跨模態檢索精度，可用于視頻主題檢測和視頻應用的內容推薦。

技術領域

本發明屬于人工智能技術領域，更進一步涉及一種視頻文本檢索方法，可用于視頻主題檢測和視頻應用的內容推薦。

背景技術

隨著大數據和5G技術的發展，互聯網上的多媒體數據呈現出爆發性的增長，同時也催生出很多新的檢索需求。傳統的檢索方法主要是支持簡單自然語言文本查詢的基于概念的檢索，其對于具有復雜語義的復雜長自然語言文本查詢無效，即無法滿足多樣化的檢索需要。

近年來，興起了基于共享子空間的跨模態檢索方法作為當前多媒體研究領域的熱點，其將視頻和自然語言文本模態映射到聯合視覺語義共享空間以計算跨模態語義相似度作為檢索工作的依托，可以很好的滿足用戶在不同媒體數據之間的搜索需求。

湖南大學在其申請號為CN202111312233.1的專利文獻中公開了“一種基于時空關系增強的跨模態文本-視頻檢索方法”，其利用多種預訓練模型先分別提取視頻全局、局部對象特征，再通過仿射變換映射的技術手段最終實現文本-視頻檢索。該方法對于不同模態的數據處理方式雖然在一定程度上提高了檢索準確率，但所采用的單獨提取特征帶來的異構性，會導致即使通過映射也不能準確找到視頻和文本之間的共同嵌入子空間，從而引起視頻和文本由于模態差異匹配不佳，影響檢索準確率。

西安電子科技大學在其申請號為：CN202110968279的專利文獻中公開了一種“基于空間時序特征的視頻自然語言文本檢索方法”，其利用三種不同類型的神經網絡對視頻的空間時序語義信息進行層次化細粒度全面的視頻統一表征，構建視頻文本公共語義嵌入網絡擬合跨模態數據的語義鴻溝并利用對比排序損失函數訓練網絡。該方法的不足之處在于視頻和文本單獨提取特征，沒有很好的擬合，同時使用公共子空間映射的方法不能有效去除特征的冗余，不僅使得模型在訓練過程中增加了大量的計算成本，而且檢索效果不佳。

Yang?X，Dong?J，Cao?Y等人在其發表的論文“Tree-Augmented?Cross-ModalEncoding?for?Complex-Query?Video?Retrieval”(International?ACM?SIGIRConference?on?Research?and?Development?in?Information?Retrieval，2020：1339-1348)中提出了一種面向復雜自然語言文本查詢的樹結構增強的視頻自然語言文本檢索方法。其通過聯合學習查詢自然語言文本的語言結構和視頻的時序表示來進行細粒度的編碼。由于視頻空間實體對象對應自然語言文本的“名詞”部分，是檢索的關鍵信息所在，而該方法只專注于時序建模的模型，因而難以捕獲視頻區域級的空間對象信息，從而影響檢索的準確性。