[發明專利]視頻片段定位方法、裝置以及計算機可讀存儲介質

在審

• 申請號: 202111154796.2
• 申請日: 2021-09-29
• 公開（公告）號: CN113806589A
• 公開（公告）日: 2021-12-17
• 發明（設計）人: 高伽林;孫新;許蒙蒙;周曦
• 申請（專利權）人: 云從科技集團股份有限公司
• 主分類號: G06F16/783
• 分類號: G06F16/783;G06F16/78;G06N3/04;G06N3/08
• 代理公司: 北京瀚仁知識產權代理事務所(普通合伙) 11482
• 代理人: 屠曉旭;陳敏

本發明涉及視頻處理技術領域，具體提供一種視頻片段定位方法、裝置與介質，旨在解決如何提高視頻片段定位時定位準確性的問題。本發明的方法包括控制視頻定位模型根據視頻樣本中候選視頻片段的候選特征以及語言描述信息的語言特征獲取第一融合特征，采用圖卷積網絡并根據第一融合特征獲取具有相同起始時間或終止時間的候選視頻片段對應的第二融合特征；根據第二融合特征預測的候選視頻片段與語言描述信息的匹配度對視頻定位模型進行訓練；采用訓練后的模型進行視頻片段定位。根據第一融合特征能夠得到準確的候選視頻片段提高視頻定位的準確性，根據第二融合特征可以準確地區分出語義較難區分的候選視頻片段，進一步提高視頻定位的準確性。

技術領域

本發明涉及視頻處理技術領域，具體提供一種視頻片段定位方法、裝置以及計算機可讀存儲介質。

背景技術

目前，基于語言查詢的視頻片段定位方法主要包括一階段方法和二階段方法。具體而言，一階段方法主要包括兩種方法，一種方法是對視頻中的每一幀進行預測，判斷其是否為與查詢語言相關的視頻片段的起始幀或結束幀，由于這種方法主要是根據當前幀的內容進行預測，忽略了視頻的全局特征，導致預測結果的準確性較差；另一種方法是利用真實標簽視頻片段中的所有幀回歸出當前幀分別與起始幀和結束幀的距離，根據距離判斷當前幀是否為與查詢語言相關的視頻片段的起始幀或結束幀，這種方法同樣忽略了視頻的全局特征。

二階段方法主要包括：利用滑動窗口等技術從視頻中預先定義一系列不同時間長度的候選視頻片段，計算候選視頻片段與查詢語言的特征匹配度，根據特征匹配度進行排序，根據排序結果選取與查詢語言最相似的候選視頻片段。但是，由于候選視頻片段是預先定義的，數量有限，無法涵蓋視頻中所有與查詢語言相關的視頻片段，從而可能導致最終獲取的與查詢語言最相似的候選視頻片段存在較大誤差。進一步，如果為了盡可能涵蓋所有與查詢語言相關的視頻片段而增加候選視頻片段的數量，又會帶來巨大的計算量，降低視頻片段定位的效率。

可見，目前基于語言查詢的視頻片段定位方法存在視頻定位準確性較差的問題。相應地，本領域需要一種新的視頻片段定位方案來解決上述問題。

發明內容

為了克服上述缺陷，提出了本發明，以提供解決或至少部分地解決如何提高基于語言查詢進行視頻片段定位的定位準確性的技術問題的視頻片段定位方法、裝置以及計算機可讀存儲介質。

在第一方面，本發明提供一種視頻片段定位方法，所述方法包括：

獲取視頻樣本及其標簽并通過下列步驟訓練視頻定位模型，所述標簽包括視頻樣本所包含行為的行為時間和語言描述信息：

控制所述視頻定位模型根據所述視頻樣本中候選視頻片段的候選特征以及所述語言描述信息的語言特征獲取第一融合特征，采用圖卷積網絡并根據所述第一融合特征獲取具有相同起始時間或終止時間的候選視頻片段對應的第二融合特征；

根據所述第二融合特征預測所述候選視頻片段與所述語言描述信息的匹配度，獲取所述候選視頻片段的視頻片段時間與所述行為時間的交并比，根據所述匹配度與所述交并比計算模型損失值，根據所述模型損失值調整模型參數，以完成模型迭代訓練；

采用完成訓練的視頻定位模型并根據目標行為的語言描述信息對目標視頻進行視頻片段定位，獲取所述目標行為對應的視頻片段。

在上述視頻片段定位方法的一個技術方案中，所述方法還包括通過下列步驟獲取候選視頻片段的候選特征：

獲取所述視頻樣本的視頻特征；

根據所述視頻特征的長度T，構建大小為T×T的二維網格；所述二維網格中每個網格的橫坐標和縱坐標分別表示起始時間t^s和終止時間t^e，所述網格表示時間跨度為(t^s,t^e)的視頻片段；

選取起始時間小于終止時間的網格，對選取到的網格進行稀疏采樣，根據稀疏采樣的結果確定候選視頻片段；