[發(fā)明專利]視頻幀處理方法、裝置、電子設(shè)備和可讀存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202011643661.8
• 申請(qǐng)日: 2020-12-31
• 公開（公告）號(hào): CN112788236B
• 公開（公告）日: 2022-08-09
• 發(fā)明（設(shè)計(jì)）人: 李仕康
• 申請(qǐng)（專利權(quán)）人: 維沃移動(dòng)通信有限公司
• 主分類號(hào): H04N5/232
• 分類號(hào): H04N5/232
• 代理公司: 北京潤澤恒知識(shí)產(chǎn)權(quán)代理有限公司 11319
• 代理人: 喬珊珊

1.一種視頻幀處理方法，其特征在于，所述方法包括：

獲取初始視頻幀以及當(dāng)前視頻幀；

獲取所述初始視頻幀對(duì)應(yīng)的第一多模數(shù)據(jù)以及所述當(dāng)前視頻幀對(duì)應(yīng)的第二多模數(shù)據(jù)；

將所述初始視頻幀、所述當(dāng)前視頻幀、所述第一多模數(shù)據(jù)以及所述第二多模數(shù)據(jù)輸入至預(yù)先訓(xùn)練得到的圖像處理模型中，以得到所述當(dāng)前視頻幀對(duì)應(yīng)的目標(biāo)視頻幀；

獲取所述初始視頻幀對(duì)應(yīng)的第一多模數(shù)據(jù)以及所述當(dāng)前視頻幀對(duì)應(yīng)的第二多模數(shù)據(jù)，包括：

獲取所述初始視頻幀與所述當(dāng)前視頻幀分別對(duì)應(yīng)的圖像數(shù)據(jù)、行曝光時(shí)間、圖像偏置數(shù)據(jù)以及采集時(shí)間；

根據(jù)所述圖像數(shù)據(jù)、所述行曝光時(shí)間、所述圖像偏置數(shù)據(jù)以及所述采集時(shí)間，確定所述初始視頻幀對(duì)應(yīng)的第一分量矩陣以及所述當(dāng)前視頻幀對(duì)應(yīng)的第二分量矩陣。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)所述圖像數(shù)據(jù)、所述行曝光時(shí)間、所述圖像偏置數(shù)據(jù)以及所述采集時(shí)間，確定所述初始視頻幀對(duì)應(yīng)的第一分量矩陣以及所述當(dāng)前視頻幀對(duì)應(yīng)的第二分量矩陣，包括：

對(duì)所述圖像數(shù)據(jù)進(jìn)行BGR轉(zhuǎn)換，以得到所述圖像數(shù)據(jù)對(duì)應(yīng)的圖像矩陣；

根據(jù)所述圖像矩陣以及所述行曝光時(shí)間確定第一矩陣；

根據(jù)所述圖像偏置數(shù)據(jù)以及所述采集時(shí)間確定第二矩陣；

對(duì)所述第一矩陣以及所述第二矩陣進(jìn)行合并，以得到所述第一分量矩陣以及第二分量矩陣。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述圖像處理模型包括編碼模塊以及解碼模塊，其中，

將所述初始視頻幀、所述當(dāng)前視頻幀、所述第一多模數(shù)據(jù)以及所述第二多模數(shù)據(jù)輸入至預(yù)先訓(xùn)練得到的圖像處理模型中，以得到所述當(dāng)前視頻幀對(duì)應(yīng)的目標(biāo)視頻幀，包括：

將所述第一分量矩陣以及所述第二分量矩陣輸入至所述圖像處理模型的編碼模塊中，以得到第一目標(biāo)分量矩陣；

將所述第一目標(biāo)分量矩陣輸入至所述圖像處理模型的解碼模塊中，以得到所述目標(biāo)視頻幀。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述編碼模塊包括至少一個(gè)編碼卷積層以及第一預(yù)設(shè)卷積層，所述至少一個(gè)編碼卷積層與所述第一預(yù)設(shè)卷積層串聯(lián)，其中，

將所述第一分量矩陣以及所述第二分量矩陣輸入至所述圖像處理模型的編碼模塊中，以得到所述第一目標(biāo)分量矩陣，包括：

將所述第一分量矩陣以及所述第二分量矩陣輸入至所述至少一個(gè)編碼卷積層，以得到所述第一分量矩陣對(duì)應(yīng)的第一輸出，所述第二分量矩陣對(duì)應(yīng)的第二輸出；

將所述第一輸出以及所述第二輸出輸入至所述第一預(yù)設(shè)卷積層，以得到所述第一目標(biāo)分量矩陣。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述編碼卷積層包括與所述第一分量矩陣對(duì)應(yīng)的第一偏置層、與所述第二分量矩陣對(duì)應(yīng)的第二偏置層以及共享卷積層，其中，

將所述第一分量矩陣以及所述第二分量矩陣輸入至所述至少一個(gè)編碼卷積層，包括：

將所述第一分量矩陣輸入至所述第一偏置層，以得到第三分量矩陣；

將所述第二分量矩陣輸入至所述第二偏置層，以得到第四分量矩陣；

將所述第三分量矩陣以及所述第四分量矩陣分別輸入至共享卷積層，以得到與所述第一輸出，以及與所述第二輸出。

6.根據(jù)權(quán)利要求4所述的方法，其特征在于，將所述第一輸出以及所述第二輸出輸入至所述第一預(yù)設(shè)卷積層，以得到所述第一目標(biāo)分量矩陣，包括：

將所述第一輸出以及所述第二輸出分別輸入至所述第一預(yù)設(shè)卷積層；

通過所述第一預(yù)設(shè)卷積層分別對(duì)所述第一輸出以及所述第二輸出進(jìn)行卷積操作，以得到所述第一目標(biāo)分量矩陣。

7.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述解碼模塊包括串聯(lián)的至少一個(gè)解碼卷積層以及一個(gè)第二預(yù)設(shè)卷積層，其中，

將所述第一目標(biāo)分量矩陣輸入至所述圖像處理模型的解碼模塊中，以得到所述目標(biāo)視頻幀，包括：

將所述第一目標(biāo)分量矩陣輸入至所述至少一個(gè)解碼卷積層中，以得到第二目標(biāo)分量矩陣；

將所述第二目標(biāo)分量矩陣輸入至所述第二預(yù)設(shè)卷積層中，以得到所述目標(biāo)視頻幀。