[發(fā)明專利]特征融合方法及裝置、視頻抖動消除方法及裝置在審
| 申請?zhí)枺?/td> | 202210199531.2 | 申請日： | 2022-03-02 |
| 公開（公告）號： | CN114565879A | 公開（公告）日： | 2022-05-31 |
| 發(fā)明（設(shè)計）人： | 黃釗金;戴宇榮 | 申請（專利權(quán)）人： | 北京達佳互聯(lián)信息技術(shù)有限公司 |
| 主分類號： | G06V20/40 | 分類號： | G06V20/40;G06V10/80;G06V10/74;G06K9/62 |
| 代理公司： | 北京銘碩知識產(chǎn)權(quán)代理有限公司 11286 | 代理人： | 王艷茹;蘇銀虹 |
| 地址： | 100085 北京市海淀*** | 國省代碼： | 北京;11 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 特征 融合 方法 裝置 視頻 抖動 消除 | ||
1.一種特征融合方法，其特征在于，包括：
基于待處理視頻中當(dāng)前圖像幀的特征和至少一個參考圖像幀的特征，獲取至少一個第一相似度信息，其中，所述至少一個參考圖像幀是所述待處理視頻中在所述當(dāng)前圖像幀前面的預(yù)定個數(shù)的圖像幀，所述至少一個第一相似度信息是所述當(dāng)前圖像幀分別與所述至少一個參考圖像幀的相似度信息；
基于所述至少一個參考圖像幀的特征和所述至少一個第一相似度信息，得到所述至少一個參考圖像幀分別與所述當(dāng)前圖像幀對齊后的特征；
基于所述對齊后的特征和所述當(dāng)前圖像幀的特征，得到所述當(dāng)前圖像幀的融合后的特征。
2.如權(quán)利要求1所述的特征融合方法，其特征在于，所述基于所述對齊后的特征和所述當(dāng)前圖像幀的特征，得到所述當(dāng)前圖像幀的融合后的特征，包括：
將所述對齊后的特征和所述當(dāng)前圖像幀的特征，分別與所述當(dāng)前圖像幀的特征進行點乘，得到至少兩個第二相似度信息；
將所述對齊后的特征和所述當(dāng)前圖像幀的特征，分別與所述至少兩個第二相似度信息中對應(yīng)的第二相似度信息進行相乘處理，得到至少兩個乘積；
對所述至少兩個乘積進行求和，得到所述當(dāng)前圖像幀的融合后的特征。
3.如權(quán)利要求2所述的特征融合方法，其特征在于，所述將所述對齊后的特征和所述當(dāng)前圖像幀的特征，分別與所述至少兩個第二相似度信息中對應(yīng)的第二相似度信息進行相乘處理，得到至少兩個乘積，包括：
對所述至少兩個第二相似度信息進行歸一化處理，得到至少兩個歸一化處理后的第二相似度信息；
將所述對齊后的特征和所述當(dāng)前圖像幀，分別與所述至少兩個歸一化處理后的第二相似度信息中對應(yīng)的第二相似度信息進行相乘處理，得到至少兩個乘積。
4.如權(quán)利要求1所述的特征融合方法，其特征在于，所述基于所述對齊后的特征和所述當(dāng)前圖像幀的特征，得到所述當(dāng)前圖像幀的融合后的特征，包括：
基于所述對齊后的特征和所述當(dāng)前圖像幀的特征的平均值，得到所述當(dāng)前圖像幀的融合后的特征。
5.一種視頻抖動消除方法，其特征在于，包括：
將待處理視頻輸入到視頻處理模型，得到所述視頻處理模型中除輸出層以外的任一層輸出的所述待處理視頻中當(dāng)前圖像幀的特征和至少一個參考圖像幀的特征，其中，所述至少一個參考圖像幀是所述待處理視頻中在所述當(dāng)前圖像幀前面的預(yù)定個數(shù)的圖像幀；
通過如權(quán)利要求1至4中任一項所述的特征融合方法對所述當(dāng)前圖像幀的特征和所述至少一個參考圖像幀的特征進行融合，得到所述當(dāng)前圖像幀的融合后的特征；
將所述融合后的特征輸入到所述視頻處理模型中所述任一層的下一層中，得到處理后的視頻。
6.一種特征融合裝置，其特征在于，包括：
相似度獲取單元，被配置為基于待處理視頻中當(dāng)前圖像幀的特征和至少一個參考圖像幀的特征，獲取至少一個第一相似度信息，其中，所述至少一個參考圖像幀是所述待處理視頻中在所述當(dāng)前圖像幀前面的預(yù)定個數(shù)的圖像幀，所述至少一個第一相似度信息是所述當(dāng)前圖像幀分別與所述至少一個參考圖像幀的相似度信息；
對齊單元，被配置為基于所述至少一個參考圖像幀的特征和所述至少一個第一相似度信息，得到所述至少一個參考圖像幀分別與所述當(dāng)前圖像幀對齊后的特征；
融合特征獲取單元，被配置為基于所述對齊后的特征和所述當(dāng)前圖像幀的特征，得到所述當(dāng)前圖像幀的融合后的特征。
7.一種視頻抖動消除裝置，其特征在于，包括：
特征獲取單元，被配置為將待處理視頻輸入到視頻處理模型，得到所述視頻處理模型中除輸出層以外的任一層輸出的所述待處理視頻中當(dāng)前圖像幀的特征和至少一個參考圖像幀的特征，其中，所述至少一個參考圖像幀是所述待處理視頻中在所述當(dāng)前圖像幀前面的預(yù)定個數(shù)的圖像幀；
特征融合單元，被配置為通過如權(quán)利要求1至4中任一項所述的特征融合方法對所述當(dāng)前圖像幀的特征和所述至少一個參考圖像幀的特征進行融合，得到所述當(dāng)前圖像幀的融合后的特征；
處理單元，被配置為將所述融合后的特征輸入到所述視頻處理模型中所述任一層的下一層中，得到處理后的視頻。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于北京達佳互聯(lián)信息技術(shù)有限公司，未經(jīng)北京達佳互聯(lián)信息技術(shù)有限公司許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202210199531.2/1.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
