[發明專利]視頻處理方法、裝置、計算機可讀介質及電子設備

有效

• 申請號: 201810868629.6
• 申請日: 2018-08-02
• 公開（公告）號: CN110209878B
• 公開（公告）日: 2022-09-20
• 發明（設計）人: 馮洋;馬林;劉威;羅杰波
• 申請（專利權）人: 騰訊科技(深圳)有限公司
• 主分類號: G06F16/783
• 分類號: G06F16/783
• 代理公司: 深圳市聯鼎知識產權代理有限公司 44232
• 代理人: 劉抗美

1.一種視頻處理方法，其特征在于，包括：

分別提取第一視頻的特征和第二視頻的特征，得到所述第一視頻的第一特征向量和所述第二視頻的第二特征向量；

基于注意力機制對所述第一特征向量進行處理，得到第三特征向量；

對所述第二特征向量和所述第三特征向量進行交叉過濾處理，得到所述第二特征向量過濾后對應的第四特征向量和所述第三特征向量過濾后對應的第五特征向量；

對所述第四特征向量和所述第五特征向量進行雙線性匹配，得到匹配結果；

根據所述匹配結果在所述第二視頻中定位所述第一視頻。

2.根據權利要求1所述的視頻處理方法，其特征在于，分別提取第一視頻的特征和第二視頻的特征，包括：

基于三維卷積神經網絡分別提取所述第一視頻的特征和所述第二視頻的特征。

3.根據權利要求2所述的視頻處理方法，其特征在于，在基于所述三維卷積神經網絡分別提取所述第一視頻的特征和所述第二視頻的特征之后，對提取到的所述第一視頻的特征和所述第二視頻的特征進行降維處理，以得到所述第一特征向量和所述第二特征向量。

4.根據權利要求1所述的視頻處理方法，其特征在于，基于注意力機制對所述第一特征向量進行處理，得到第三特征向量，包括：

計算各個所述第一特征向量與各個所述第二特征向量之間的相關性；

基于各個所述第一特征向量與各個所述第二特征向量之間的相關性，確定各個所述第一特征向量對應的權重因子；

根據各個所述第一特征向量和各個所述第一特征向量對應的權重因子，計算所述第三特征向量。

5.根據權利要求4所述的視頻處理方法，其特征在于，通過以下公式計算各個所述第一特征向量與各個所述第二特征向量之間的相關性：

其中，e_i,j表示第i個第二特征向量與第j個第一特征向量之間的相關性；表示第j個第一特征向量；表示第i個第二特征向量；表示第i-1個第二特征向量與對應的所述第三特征向量之間的匹配結果；W^q、W^r、W^m和b^m表示公式的計算參數。

6.根據權利要求5所述的視頻處理方法，其特征在于，通過以下公式確定各個所述第一特征向量對應的權重因子：

其中，α_i,j表示第j個第一特征向量對應的權重因子；ω和b表示公式的計算參數；k最小值為1，最大值為所述第二特征向量的個數。

7.根據權利要求6所述的視頻處理方法，其特征在于，根據各個所述第一特征向量和各個所述第一特征向量對應的權重因子，計算所述第三特征向量，包括：

根據各個所述第一特征向量和各個所述第一特征向量對應的權重因子，對各個所述第一特征向量進行加權求和，以得到所述第三特征向量。

8.根據權利要求1至7中任一項所述的視頻處理方法，其特征在于，根據所述匹配結果在所述第二視頻中定位所述第一視頻，包括：

按照時間順序對各個視頻時間段對應的所述匹配結果進行匯總，得到匯總結果；

根據所述匯總結果預測所述第二視頻中的各個時間點與所述第一視頻中的時間點之間的關系；

基于所述第二視頻中的各個時間點與所述第一視頻中的時間點之間的關系，在所述第二視頻中定位所述第一視頻。

9.根據權利要求8所述的視頻處理方法，其特征在于，按照時間順序對各個視頻時間段對應的所述匹配結果進行匯總，得到匯總結果，包括：

按照視頻播放的時間順序，對各個視頻時間段對應的所述匹配結果進行匯總，得到第一結果；

按照與視頻播放相反的時間順序，對各個視頻時間段對應的所述匹配結果進行匯總，得到第二結果；

將所述第一結果和所述第二結果進行合并，以得到所述匯總結果。