[發明專利]視頻增強方法、裝置、解碼方法、解碼器及電子設備

有效

• 申請號: 202210035811.X
• 申請日: 2022-01-13
• 公開（公告）號: CN114071167B
• 公開（公告）日: 2022-04-26
• 發明（設計）人: 施曉迪;粘春湄;方瑞東;江東;林聚財;殷俊
• 申請（專利權）人: 浙江大華技術股份有限公司
• 主分類號: H04N19/85
• 分類號: H04N19/85;G06T7/38;G06T5/50
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 張愷寧

1.一種視頻增強方法，其特征在于，所述方法包括：

獲取待增強的視頻序列，針對所述視頻序列中的每幀第一圖像，對所述第一圖像及與所述第一圖像相鄰的第二圖像進行非局部預融合處理，得到所述第一圖像對應的預融合圖像；

根據所述預融合圖像和所述第一圖像對應的光流信息，將所述相鄰的第二圖像對齊到所述第一圖像，得到所述第一圖像對應的預增強圖像；其中，所述第一圖像對應的光流信息是基于所述第一圖像和所述相鄰的第二圖像確定出的；

將所述預融合圖像和所述預增強圖像進行信息聚合處理，得到所述第一圖像對應的增強幀圖像；

所述對所述第一圖像及與所述第一圖像相鄰的第二圖像進行非局部預融合處理，得到所述第一圖像對應的預融合圖像包括：

對所述第一圖像進行特征提取，得到對應的第一特征圖；對所述第二圖像進行特征提取，得到對應的第二特征圖；

對所述第一特征圖和第二特征圖進行矩陣相乘，得到所述第一特征圖和第二特征圖的相似度；對所述相似度進行歸一化處理，得到所述第二特征圖對應的權重值；

將所述第二特征圖和對應的權重值進行相乘，得到第三特征圖；

將所述第三特征圖與所述第一特征圖進行疊加處理，得到所述第一圖像對應的預融合圖像；

所述根據所述預融合圖像和所述第一圖像對應的光流信息，將所述相鄰的第二圖像對齊到所述第一圖像，得到所述第一圖像對應的預增強圖像包括：

對所述預融合圖像進行至少一次尺度變換；

按照尺度由小到大的順序，選取與當前尺度相匹配的光流信息，根據當前尺度的預融合圖像和所述相匹配的光流信息，將當前尺度的第二圖像對齊到當前尺度的第一圖像，得到當前尺度的第一圖像對應的預增強圖像；

將所述當前尺度的第一圖像對應的預增強圖像進行上采樣，并將上采樣結果與尺度相匹配的預融合圖像進行卷積融合；根據卷積融合結果和與所述卷積融合結果尺度相匹配的光流信息，進行圖像對齊，直至獲得最大尺度的對齊結果，將所述最大尺度的對齊結果作為所述第一圖像對應的預增強圖像。

2.如權利要求1所述的方法，其特征在于，所述對所述第一特征圖和第二特征圖進行矩陣相乘，得到所述第一特征圖和第二特征圖的相似度；對所述相似度進行歸一化處理，得到所述第二特征圖對應的權重值包括：

按照相同的區域劃分規則，分別將所述第一特征圖和第二特征圖劃分為多個區域；對所述第一特征圖和第二特征圖中對應位置的區域進行矩陣相乘，得到所述對應位置的區域的相似度；

對所述對應位置的區域的相似度進行歸一化處理，得到所述第二特征圖中所述對應位置的區域的權重值。

3.如權利要求1所述的方法，其特征在于，若與所述第一圖像相鄰的第二圖像分別包括與所述第一圖像前向相鄰的第二圖像和與所述第一圖像后向相鄰的第二圖像，所述方法還包括：

將得到所述第一圖像對應的每個預融合圖像分別作為候選預融合圖像；

對每個候選預融合圖像進行通道維度拼接，對拼接結果進行卷積處理；

將所述卷積處理結果與所述第一圖像進行疊加處理，得到所述第一圖像對應的預融合圖像。

4.如權利要求1所述的方法，其特征在于，所述根據當前尺度的預融合圖像和所述相匹配的光流信息，將當前尺度的第二圖像對齊到當前尺度的第一圖像，得到當前尺度的第一圖像對應的預增強圖像包括：

將所述當前尺度的預融合圖像輸入第一卷積網絡，得到注意力權重；

將所述相匹配的光流信息輸入第二卷積網絡，得到偏置信息；

將所述注意力權重、偏置信息和所述當前尺度的第二圖像輸入可變形卷積網絡，基于所述可變形卷積網絡將當前尺度的第二圖像對齊到當前尺度的第一圖像，得到當前尺度的第一圖像對應的對齊幀圖像；

對所述對齊幀圖像和所述當前尺度的第一圖像進行卷積融合，得到當前尺度的第一圖像對應的預增強圖像。