[發(fā)明專利]視頻幀處理方法、裝置、電子設(shè)備和可讀存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202011643661.8
• 申請日: 2020-12-31
• 公開（公告）號: CN112788236B
• 公開（公告）日: 2022-08-09
• 發(fā)明（設(shè)計）人: 李仕康
• 申請（專利權(quán)）人: 維沃移動通信有限公司
• 主分類號: H04N5/232
• 分類號: H04N5/232
• 代理公司: 北京潤澤恒知識產(chǎn)權(quán)代理有限公司 11319
• 代理人: 喬珊珊

本申請公開了一種視頻幀處理方法、裝置、電子設(shè)備和可讀存儲介質(zhì)，屬于圖像處理領(lǐng)域。其中的方法包括：獲取初始視頻幀以及當前視頻幀；獲取初始視頻幀對應(yīng)的第一多模數(shù)據(jù)以及當前視頻幀對應(yīng)的第二多模數(shù)據(jù)；將初始視頻幀、當前視頻幀、第一多模數(shù)據(jù)以及第二多模數(shù)據(jù)輸入至預(yù)先訓(xùn)練得到的圖像處理模型中，以得到當前視頻幀對應(yīng)的目標視頻幀。本申請解決了現(xiàn)有技術(shù)中由于相機拍攝過程中的電子防抖需要人為過多的干預(yù)和調(diào)整，而導(dǎo)致圖像增強效果差的問題。

技術(shù)領(lǐng)域

本申請屬于圖像處理領(lǐng)域，具體涉及一種視頻幀處理方法、裝置、電子設(shè)備和可讀存儲介質(zhì)。

背景技術(shù)

現(xiàn)有手機的EIS(Electric Image Stabilization，電子防抖)防抖技術(shù)通常需要做大量的前期標定工作，確定出相機的焦距、陀螺儀的漂移和延遲等參數(shù)，配合陀螺儀輸出的數(shù)據(jù)計算出標準幀的像素點對于當前幀的變化矩陣。即EIS是通過將當前像素點位置左乘以變化矩陣轉(zhuǎn)變成標準幀的像素點位置，并截取掉一定的圖像邊緣完成最終的防抖效果。

在實現(xiàn)本申請過程中，發(fā)明人發(fā)現(xiàn)現(xiàn)有技術(shù)中至少存在如下問題：

從目前的EIS技術(shù)來說，裁剪圖像是必須的，這會導(dǎo)致圖像視角變小，而且如果沒有OIS(Optical Image Stabilization)的幫助，對于平移補償效果也不夠理想。同時卷簾快門Rolling Shutter Door的曝光時間不定也給防抖效果帶來負面的影響，且整個EIS流程比較繁雜，過多的環(huán)節(jié)需要人為的干預(yù)和調(diào)整，從維護和問題排查以及效果增強來說略顯繁瑣和困難。

針對上述的問題，目前尚未提出有效的解決方案。

申請內(nèi)容

本申請實施例的目的是提供一種視頻幀處理方法、裝置、電子設(shè)備和可讀存儲介質(zhì)，能夠解決現(xiàn)有技術(shù)中由于相機拍攝過程中的電子防抖需要人為過多的干預(yù)和調(diào)整，而導(dǎo)致圖像增強效果差的問題。

為了解決上述技術(shù)問題，本申請是這樣實現(xiàn)的：

第一方面，本申請實施例提供了一種視頻幀處理方法，所述方法包括：獲取初始視頻幀以及當前視頻幀；獲取所述初始視頻幀對應(yīng)的第一多模數(shù)據(jù)以及所述當前視頻幀對應(yīng)的第二多模數(shù)據(jù)；將所述初始視頻幀、所述當前視頻幀、所述第一多模數(shù)據(jù)以及所述第二多模數(shù)據(jù)輸入至預(yù)先訓(xùn)練得到的圖像處理模型中，以得到所述當前視頻幀對應(yīng)的目標視頻幀。

第二方面，本申請實施例提供了一種視頻幀處理裝置，所述裝置包括：第一圖像采集單元，用于獲取初始視頻幀以及當前視頻幀；第一獲取單元，用于獲取所述初始視頻幀對應(yīng)的第一多模數(shù)據(jù)以及所述當前視頻幀對應(yīng)的第二多模數(shù)據(jù)；第一處理單元，用于將所述初始視頻幀、所述當前視頻幀、所述第一多模數(shù)據(jù)以及所述第二多模數(shù)據(jù)輸入至預(yù)先訓(xùn)練得到的圖像處理模型中，以得到所述當前視頻幀對應(yīng)的目標視頻幀。

第三方面，本申請實施例提供了一種電子設(shè)備，該電子設(shè)備包括處理器、存儲器及存儲在所述存儲器上并可在所述處理器上運行的程序或指令，所述程序或指令被所述處理器執(zhí)行時實現(xiàn)如第一方面所述的方法的步驟。

第四方面，本申請實施例提供了一種可讀存儲介質(zhì)，所述可讀存儲介質(zhì)上存儲程序或指令，所述程序或指令被處理器執(zhí)行時實現(xiàn)如第一方面所述的方法的步驟。

第五方面，本申請實施例提供了一種芯片，所述芯片包括處理器和通信接口，所述通信接口和所述處理器耦合，所述處理器用于運行程序或指令，實現(xiàn)如第一方面所述的方法。