[發明專利]視頻幀處理方法、裝置、計算機設備及存儲介質

在審

• 申請號: 202210100894.6
• 申請日: 2022-01-27
• 公開（公告）號: CN114419517A
• 公開（公告）日: 2022-04-29
• 發明（設計）人: 曹銘登;樊艷波;王家豪;張勇;印飛;王玨;楊余久
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06K9/62;G06V10/80;G06V10/74
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 李文靜

1.一種視頻幀處理方法，其特征在于，所述方法包括：

獲取視頻幀序列，所述視頻幀序列包括連續的多個視頻幀，所述多個視頻幀包括模糊視頻幀；

從每個視頻幀中提取多個尺度的第一特征信息，分別將同一視頻幀對應的多個第一特征信息進行融合，得到第二特征信息；

基于所述多個視頻幀的第二特征信息與所述模糊視頻幀的第二特征信息之間的相似度，對所述多個視頻幀的第二特征信息進行加權融合，得到所述模糊視頻幀對應的第一融合特征信息；

基于所述第一融合特征信息，對所述模糊視頻幀進行重建。

2.根據權利要求1所述的方法，其特征在于，所述分別將同一視頻幀對應的多個第一特征信息進行融合，得到第二特征信息，包括：

對于任一視頻幀對應的多個第一特征信息，將除目標尺度的第一特征信息以外的其他第一特征信息變換至所述目標尺度，所述目標尺度為所述多個尺度中的最大尺度；

將變換后的多個第一特征信息進行融合，得到所述視頻幀的第二特征信息。

3.根據權利要求2所述的方法，其特征在于，所述將變換后的多個第一特征信息進行融合，得到所述視頻幀的第二特征信息，包括：

將變換后的多個第一特征信息進行拼接，得到拼接特征信息；

對所述拼接特征信息進行卷積處理，得到所述視頻幀的第二特征信息。

4.根據權利要求1所述的方法，其特征在于，所述多個尺度的個數為2，所述從每個視頻幀中提取多個尺度的第一特征信息，包括：

對于所述多個視頻幀中的每個視頻幀，對所述視頻幀進行特征提取，得到所述視頻幀的第四特征信息；

對所述第四特征信息進行編碼，得到第1個尺度的編碼特征信息；

對所述第1個尺度的編碼特征信息進行降維，得到第2個尺度的編碼特征信息；

對所述第2個尺度的編碼特征信息進行解碼，得到所述第2個尺度的第一特征信息；

對所述第2個尺度的第一特征信息進行升維，得到所述第1個尺度的升維特征信息，對所述第1個尺度的升維特征信息及所述第1個尺度的編碼特征信息進行解碼，得到所述第1個尺度的第一特征信息。

5.根據權利要求1所述的方法，其特征在于，所述多個尺度的個數為n，n為大于2的整數，所述從每個視頻幀中提取多個尺度的第一特征信息，包括：

對于所述多個視頻幀中的每個視頻幀，對所述視頻幀進行特征提取，得到所述視頻幀的第四特征信息；

對所述第四特征信息進行編碼，得到第1個尺度的編碼特征信息；

對所述第1個尺度的編碼特征信息進行降維和編碼，得到第2個尺度的編碼特征信息，直至得到第n-1個尺度的編碼特征信息；

對所述第n-1個尺度的編碼特征信息進行降維，得到第n個尺度的編碼特征信息；

對所述第n個尺度的編碼特征信息進行解碼，得到所述第n個尺度的第一特征信息；

對第n個尺度的第一特征信息進行升維，得到所述第n-1個尺度的升維特征信息，對所述第n-1個尺度的升維特征信息及所述第n-1個尺度的編碼特征信息進行解碼，得到所述第n-1個尺度的第一特征信息，直至得到所述第1個尺度的第一特征信息。

6.根據權利要求5所述的方法，其特征在于，所述第1個尺度的編碼特征信息為矩陣；所述對所述第1個尺度的編碼特征信息進行降維和編碼，得到第2個尺度的編碼特征信息，包括：

對所述第1個尺度的編碼特征信息進行降維，得到所述第2個尺度的降維特征信息；

對所述降維特征信息進行分割，得到多個第一局部矩陣，所述第一局部矩陣包括多個位置上的特征；

對于每個特征，基于所述特征所在的第一局部矩陣中的多個特征及所述多個特征的位置特征，對所述特征進行更新，所述位置特征指示對應的特征在所述第一局部矩陣中的位置；

將同一第一局部矩陣更新后的多個特征構成第二局部矩陣；

基于所述多個第一局部矩陣在所述降維特征信息中的位置，對多個第二局部矩陣進行拼接，得到第一拼接矩陣；

基于所述第一拼接矩陣，確定所述第2個尺度的編碼特征信息。