[發(fā)明專利]視頻抖動校正方法、裝置、可讀存儲介質(zhì)及電子設(shè)備

有效

• 申請?zhí)枺?/td>: 201911000186.X
• 申請日: 2019-10-21
• 公開（公告）號: CN110708465B
• 公開（公告）日: 2020-12-25
• 發(fā)明（設(shè)計）人: 蘇博文;侯峰;周凡;張長定;張偉
• 申請（專利權(quán)）人: 廈門美圖之家科技有限公司
• 主分類號: H04N5/232
• 分類號: H04N5/232
• 代理公司: 北京超凡宏宇專利代理事務(wù)所(特殊普通合伙) 11463
• 代理人: 張萌

本申請?zhí)峁┮环N視頻抖動校正方法、裝置、可讀存儲介質(zhì)及電子設(shè)備，通過采樣圖像的第一移動距離和采樣圖像對應(yīng)的匹配IMU信息的第二移動距離來對采樣圖像對應(yīng)的匹配IMU信息的旋轉(zhuǎn)參數(shù)進行校正，從而根據(jù)校正后的旋轉(zhuǎn)參數(shù)來對所述采樣圖像進行抖動校正。所述方法包括：對視頻進行采樣，得到至少兩幀采樣圖像；獲取視頻的第一IMU序列；從采樣圖像中獲取第一采樣圖像，計算目標特征點的第一移動距離、旋轉(zhuǎn)參數(shù)以及第二移動距離；根據(jù)所述第一移動距離和所述第二移動距離對所述旋轉(zhuǎn)參數(shù)進行校正；根據(jù)校正后的所述旋轉(zhuǎn)參數(shù)對所述第一采樣圖像進行抖動校正。本方案能夠減小對視頻防抖校正過程中的誤差，使得校正后的圖像更加精確。

技術(shù)領(lǐng)域

本申請涉及視頻圖像處理技術(shù)領(lǐng)域，具體而言，涉及一種視頻抖動校正方法、裝置、可讀存儲介質(zhì)及電子設(shè)備。

背景技術(shù)

在視頻拍攝過程中，由于拍攝設(shè)備本身的狀態(tài)不夠穩(wěn)定，因此，會引入抖動，從而導(dǎo)致獲取的視頻的效果不佳。現(xiàn)有技術(shù)中，通用的視頻防抖技術(shù)是IMU(InertialMeasurement Unit，慣性測量儀)視頻防抖和特征點防抖。采用IMU來進行視頻防抖的原理為，利用IMU信息中的角速度，根據(jù)各時刻的IMU傳感器信息中的角度計算出每一幀對應(yīng)的相機運動情況，進而對采集的圖像進行校正。但是，IMU容易受到硬件條件的影響，例如，當IMU自身噪聲較大或者溫度過高時，就會給其中的傳感器帶來較大的誤差。

而采用特征點來進行防抖的原理為，從各幀圖像中檢測特征點，然后根據(jù)特征點來估計相機的運動軌跡。但是，這種方式中特征點的檢測會受到畫質(zhì)光線等的影響，當畫面模糊或者光線較暗時，特征點丟失同樣會引入計算誤差，從而會導(dǎo)致校正的視頻不夠精確。

發(fā)明內(nèi)容

為了至少克服現(xiàn)有技術(shù)中的上述不足，本申請的目的之一在于提供一種視頻抖動校正方法，應(yīng)用于電子設(shè)備，所述方法包括：

對所述視頻進行采樣，得到至少兩幀采樣圖像；

獲取所述視頻的第一IMU序列，所述第一IMU序列包括各采樣圖像的匹配IMU信息；

從所述采樣圖像中選擇非首幀的任意一采樣圖像作為第一采樣圖像，根據(jù)該第一采樣圖像以及該第一采樣圖像之前且與所述第一采樣圖像相鄰的第二采樣圖像，計算所述第一采樣圖像中目標特征點在第一采集時間間隔內(nèi)在相機坐標系中的第一移動距離；

根據(jù)所述第一采樣圖像對應(yīng)的匹配IMU信息及所述第二采樣圖像對應(yīng)的匹配IMU信息，計算該第一采樣圖像的匹配IMU信息對應(yīng)的旋轉(zhuǎn)參數(shù)，所述旋轉(zhuǎn)參數(shù)包括在第一采集時間間隔內(nèi)目標特征點的第一空間旋轉(zhuǎn)角度，所述第一采集時間間隔為所述第一采樣圖像的采集時間與所述第二采樣圖像的采集時間之間的間隔，所述第一空間旋轉(zhuǎn)角度根據(jù)所述第一采樣圖像的匹配IMU信息及所述第二采樣圖像的匹配IMU信息計算獲得；

根據(jù)所述旋轉(zhuǎn)參數(shù)計算所述第一采樣圖像中的目標特征點在第一采集時間間隔內(nèi)在相機坐標系中的第二移動距離；

根據(jù)所述第一移動距離和所述第二移動距離對所述旋轉(zhuǎn)參數(shù)進行校正；

根據(jù)校正后的所述旋轉(zhuǎn)參數(shù)對所述第一采樣圖像進行抖動校正。

可選地，所述獲取所述視頻的第一IMU序列的步驟包括：

獲取所述視頻的第二IMU序列，所述第二IMU序列包括多個原始IMU信息；

針對每個非首幀的所述采樣圖像，獲取該采樣圖像的中間IMU信息，所述中間IMU信息為采集時間與該采樣圖像的采集時間最近的原始IMU信息；

針對每個所述采樣圖像的中間IMU信息，將該中間IMU信息作為第一中間IMU信息，根據(jù)該第一中間IMU信息以及該第一中間IMU信息前一相鄰的第二中間IMU信息，計算所述目標特征點在第二采集時間間隔內(nèi)在相機坐標系中的第三移動距離，所述第二采集時間間隔為所述第一中間IMU信息的采集時間與所述第二中間IMU信息的采集時間之間的間隔；