[發明專利]特征融合方法及裝置、視頻抖動消除方法及裝置

在審

• 申請號: 202210199531.2
• 申請日: 2022-03-02
• 公開（公告）號: CN114565879A
• 公開（公告）日: 2022-05-31
• 發明（設計）人: 黃釗金;戴宇榮
• 申請（專利權）人: 北京達佳互聯信息技術有限公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/80;G06V10/74;G06K9/62
• 代理公司: 北京銘碩知識產權代理有限公司 11286
• 代理人: 王艷茹;蘇銀虹

本公開關于一種特征融合方法及裝置、視頻抖動消除方法及裝置。該方法包括：基于待處理視頻中當前圖像幀的特征和至少一個參考圖像幀的特征，獲取至少一個第一相似度信息，其中，至少一個參考圖像幀是待處理視頻中在當前圖像幀前面的預定個數的圖像幀，至少一個第一相似度信息是當前圖像幀分別與至少一個參考圖像幀的相似度信息；基于至少一個參考圖像幀的特征和至少一個第一相似度信息，得到至少一個參考圖像幀分別與當前圖像幀對齊后的特征；基于對齊后的特征和當前圖像幀的特征，得到當前圖像幀的融合后的特征。

技術領域

本公開涉及視頻處理領域，尤其涉及一種特征融合方法及裝置、視頻抖動消除方法及裝置。

背景技術

視頻是日常生活接觸比較多的信息，隨著深度學習的發展，用戶希望可以通過深度學習理解視頻里的內容，比如這個視頻里面有多少人、人移動的軌跡等信息。但在一些復雜場景里，視頻中相似的兩個圖像幀會得到差別很大的結果，比如兩個圖像幀肉眼看上去是差不多的圖片，前一個圖像幀可以檢測到人的肢體，后一個圖像幀就突然檢測不到了，這種現象稱為“抖動”現象，抖動現象會嚴重影響用戶觀感和其他量化指標。

為了解決上述問題，學術界在圖像算法的基礎上提出“時序特征融合方法”進行處理，比如使用了一些rnn/non local等方法，這些時序特征融合方法可以很好緩解抖動問題，但是這些方法僅在學術數據集上有用，在真實場景就會遇到很多問題，主要是因為真實場景很多數據都沒在學術數據集上出現過，導致算法效果不好，需要使用真實場景的數據重新訓練這些模型才行。然而這個訓練過程需要標注很多真實場景的視頻數據，尤其針對需要大量視頻數據進行訓練的時序特征融合模塊，這是極其困難的。

發明內容

本公開提供了一種特征融合方法及裝置、視頻抖動消除方法及裝置，以至少解決相關技術中特征融合方法需要大量視頻數據進行訓練導致人力等成本較大的問題。

根據本公開實施例的第一方面，提供一種特征融合方法，包括：基于待處理視頻中當前圖像幀的特征和至少一個參考圖像幀的特征，獲取至少一個第一相似度信息，其中，至少一個參考圖像幀是待處理視頻中在當前圖像幀前面的預定個數的圖像幀，至少一個第一相似度信息是當前圖像幀分別與至少一個參考圖像幀的相似度信息；基于至少一個參考圖像幀的特征和至少一個第一相似度信息，得到至少一個參考圖像幀分別與當前圖像幀對齊后的特征；基于對齊后的特征和當前圖像幀的特征，得到當前圖像幀的融合后的特征。

可選地，基于對齊后的特征和當前圖像幀的特征，得到當前圖像幀的融合后的特征，包括：將對齊后的特征和當前圖像幀的特征，分別與當前圖像幀的特征進行點乘，得到至少兩個第二相似度信息；將對齊后的特征和當前圖像幀的特征，分別與至少兩個第二相似度信息中對應的第二相似度信息進行相乘處理，得到至少兩個乘積；對至少兩個乘積進行求和，得到當前圖像幀的融合后的特征。

可選地，將對齊后的特征和當前圖像幀的特征，分別與至少兩個第二相似度信息中對應的第二相似度信息進行相乘處理，得到至少兩個乘積，包括：對至少兩個第二相似度信息進行歸一化處理，得到至少兩個歸一化處理后的第二相似度信息；將對齊后的特征和當前圖像幀，分別與至少兩個歸一化處理后的第二相似度信息中對應的第二相似度信息進行相乘處理，得到至少兩個乘積。

可選地，基于對齊后的特征和當前圖像幀的特征，得到當前圖像幀的融合后的特征，包括：基于對齊后的特征和當前圖像幀的特征的平均值，得到當前圖像幀的融合后的特征。

可選地，基于至少一個參考圖像幀的特征和至少一個第一相似度信息，得到至少一個參考圖像幀分別與當前圖像幀對齊后的特征，包括：對至少一個相似度信息進行尺度變化并歸一化處理；將至少一個參考圖像幀的特征分別與至少一個歸一化處理后的第一相似度信息進行相乘處理，得到至少一個參考圖像幀分別與當前圖像幀對齊后的特征。

可選地，當前圖像幀的特征和至少一個參考圖像幀的特征是從用于對待處理視頻進行圖像處理的視頻處理模型中除輸出層以外的任一層輸出的特征，融合后的特征被輸入到視頻處理模型中所述任一層的下一層。