[發明專利]視頻處理方法、裝置、電子設備及存儲介質

在審

• 申請號: 202110285487.2
• 申請日: 2021-03-17
• 公開（公告）號: CN113011320A
• 公開（公告）日: 2021-06-22
• 發明（設計）人: 宋浩;黃珊
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/20;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 李昂;張穎玲

1.一種視頻處理方法，其特征在于，所述方法包括：

從視頻的第一視頻幀提取第一視頻幀特征，并從所述視頻的第二視頻幀提取第二視頻幀特征；

將所述第一視頻幀特征劃分為多個第一視頻幀子特征，并將所述第二視頻幀特征劃分為多個第二視頻幀子特征；

基于所述多個第一視頻幀子特征和所述多個第二視頻幀子特征，確定所述第一視頻幀和所述第二視頻幀之間的相似度；

根據所述第一視頻幀和所述第二視頻幀之間的相似度，確定所述視頻中的標識幀。

2.根據權利要求1所述的方法，其特征在于，所述基于所述多個第一視頻幀子特征和所述多個第二視頻幀子特征，確定所述第一視頻幀和所述第二視頻幀之間的相似度，包括：

針對每個第一視頻幀子特征執行以下處理：在所述多個第二視頻幀子特征中，選取與所述第一視頻幀子特征對應相同位置的第二視頻幀子特征，并確定所述第一視頻幀子特征與選取的所述第二視頻幀子特征之間的相似度；

在所述多個第一視頻幀子特征對應的相似度中，選取最小的相似度作為所述第一視頻幀和所述第二視頻幀之間的相似度。

3.根據權利要求2所述的方法，其特征在于，所述確定所述第一視頻幀子特征與選取的所述第二視頻幀子特征之間的相似度，包括：

將所述第一視頻幀子特征和選取的所述第二視頻幀子特征進行絕對值相減處理，得到視頻幀差值特征；

將所述視頻幀差值特征映射為對應多個候選相似度的概率；

將最大概率所對應的候選相似度確定為對應所述第一視頻幀子特征的相似度。

4.根據權利要求1所述的方法，其特征在于，所述從視頻的第一視頻幀提取第一視頻幀特征，并從所述視頻的第二視頻幀提取第二視頻幀特征，包括：

從所述第一視頻幀提取第一圖像特征，并從所述第二視頻幀提取第二圖像特征；

從所述第一圖像特征提取第一文本掩碼特征，并從所述第二圖像特征提取第二文本掩碼特征；

將所述第一文本掩碼特征和所述第一圖像特征進行融合處理，得到所述第一視頻幀特征；

將所述第二文本掩碼特征和所述第二圖像特征進行融合處理，得到所述第二視頻幀特征。

5.根據權利要求4所述的方法，其特征在于，

所述從所述第一圖像特征提取第一文本掩碼特征，包括：

對所述第一圖像特征進行升維處理，得到第一升維圖像特征；

確定所述第一升維圖像特征中每個通道所對應的注意力權重；

根據所述第一升維圖像特征中每個通道所對應的注意力權重，對所述第一升維圖像特征中每個通道中的數據進行加權求和，得到所述第一文本掩碼特征；

所述從所述第二圖像特征提取第二文本掩碼特征，包括：

對所述第二圖像特征進行升維處理，得到第二升維圖像特征；

確定所述第二升維圖像特征中每個通道所對應的注意力權重；

根據所述第二升維圖像特征中每個通道所對應的注意力權重，對所述第二升維圖像特征中每個通道中的數據進行加權求和，得到所述第二文本掩碼特征。

6.根據權利要求5所述的方法，其特征在于，

所述對所述第一圖像特征進行升維處理，得到第一升維圖像特征，包括：

對所述第一圖像特征進行卷積處理，得到第一卷積特征，并將所述第一卷積特征進行反卷積處理，得到第一反卷積特征；

將所述第一圖像特征和所述第一反卷積特征進行融合處理，得到第一融合特征；

將所述第一融合特征和所述第一反卷積特征進行融合處理，得到所述第一升維圖像特征；

所述對所述第二圖像特征進行升維處理，得到第二升維圖像特征，包括：

對所述第二圖像特征進行卷積處理，得到第二卷積特征，并將所述第二卷積特征進行反卷積處理，得到第二反卷積特征；

將所述第二圖像特征和所述第二反卷積特征進行融合處理，得到第二融合特征；

將所述第二融合特征和所述第二反卷積特征進行融合處理，得到所述第二升維圖像特征。