[發明專利]一種視頻時序定位方法、裝置、存儲介質及電子設備

在審

• 申請號: 202210657459.3
• 申請日: 2022-06-10
• 公開（公告）號: CN115035449A
• 公開（公告）日: 2022-09-09
• 發明（設計）人: 陳佳銘;馬林;羅偉鑫;張偉
• 申請（專利權）人: 北京三快在線科技有限公司
• 主分類號: G06V20/40
• 分類號: G06V20/40
• 代理公司: 北京曼威知識產權代理有限公司 11709
• 代理人: 王宏財

1.一種視頻時序定位方法，其特征在于，包括：

獲取待定位視頻和目標文本；

將所述待定位視頻劃分為若干個視頻片段；并，將所述待定位視頻和所述目標文本輸入預先訓練的時序定位模型中，以通過所述時序定位模型確定所述待定位視頻中每一視頻幀的圖像特征，其中，一個視頻幀的圖像特征是根據該視頻幀和所述目標文本得到的；

針對每個視頻片段，將該視頻片段中包含的所有視頻幀的圖像特征的序列作為該視頻片段的視頻特征；

根據該視頻片段的視頻特征確定該視頻片段與所述目標文本之間的相關值，以及該視頻片段的劃分質量；

根據各視頻片段與所述目標文本之間的相關值以及各視頻片段的劃分質量確定各視頻片段與所述目標文本之間的匹配值；

根據各視頻片段與所述目標文本之間的匹配值確定與所述目標文本匹配的視頻片段。

2.如權利要求1所述的方法，其特征在于，將所述待定位視頻劃分為若干個視頻片段，具體包括：

遍歷各預設的窗口寬度和滑動步長的組合，采用下述方式將所述待定位視頻劃分為若干個視頻片段：

針對指定窗口寬度和指定滑動步長，采用指定窗口寬度的窗口在所述待定位視頻的時間軸上以所述指定滑動步長滑動，將每次滑動后窗口中包含的視頻作為一個視頻片段。

3.如權利要求1所述的方法，其特征在于，根據該視頻片段的視頻特征確定該視頻片段的劃分質量，具體包括：

根據該視頻片段的起始幀的圖像特征和結束幀的圖像特征，確定該視頻片段的起始幀和結束幀是所述待定位視頻的語義分割點的概率；

根據該視頻片段的起始幀和結束幀是語義分割點的概率，確定該視頻片段的劃分質量。

4.如權利要求1所述的方法，其特征在于，所述時序定位模型為多任務模型；

所述時序定位模型包括：特征提取層、第一任務輸出層、第二任務輸出層；

預先訓練時序定位模型，具體包括：

獲取樣本文本和樣本視頻；

將所述樣本視頻劃分為若干個樣本視頻片段，并將所述樣本文本和所述樣本視頻輸入待訓練的時序定位模型中，以通過所述時序定位模型中的特征提取層確定所述樣本視頻中每一視頻幀的待優化圖像特征，其中，一個視頻幀的待優化圖像特征是根據該視頻幀和所述樣本文本得到的；針對每個樣本視頻片段，將該樣本視頻片段中包含的所有視頻幀的圖像特征的序列作為該樣本視頻片段的待優化視頻特征；

將該樣本視頻片段的視頻特征分別輸入第一任務輸出層和第二任務輸出層，得到第一任務輸出層輸出的該樣本視頻片段與所述樣本文本之間的待優化相關值，以及第二任務輸出層輸出的該樣本視頻片段的待優化劃分質量；

以所述樣本視頻片段與所述樣本文本之間的所述待優化相關值和標注相關值之間的差異最小為優化目標，調整所述特征提取層和所述第一任務輸出層的模型參數，以所述樣本視頻片段的待優化劃分質量和標注劃分質量之間的差異最小為優化目標，調整所述特征提取層和所述第二任務輸出層的模型參數，其中，所述標注相關值是根據該樣本視頻片段的視頻內容標注的，所述標注劃分質量是根據所述樣本視頻的時間軸標注的。

5.如權利要求4所述的方法，其特征在于，獲取樣本文本和樣本視頻，具體包括：

獲取第一文本、第二文本，以及與第一文本匹配的第一視頻和與第二文本匹配的第二視頻；

將所述第一文本、第二本文作為樣本文本；

在所述第二視頻中截取指定長度的視頻片段；

采用在所述第二視頻中截取的視頻片段替換第一視頻中指定長度的視頻片段，將被替換后的第一視頻作為樣本視頻。

6.如權利要求5所述的方法，其特征在于，根據該樣本視頻片段的視頻內容標注該樣本視頻片段與所述樣本文本之間的標注相關值，具體包括：

根據該樣本視頻片段中與所述樣本文本匹配的視頻在所述樣本視頻片段中的占比，標注該樣本視頻片段與所述樣本文本之間的標注相關值。