[發(fā)明專利]一種結(jié)合幀間信息的非均勻運(yùn)動模糊視頻復(fù)原方法

有效

• 申請?zhí)枺?/td>: 202110430994.0
• 申請日: 2021-04-21
• 公開（公告）號: CN113269682B
• 公開（公告）日: 2023-03-24
• 發(fā)明（設(shè)計）人: 陳斌;金巖;詹慧媚;裴景秋
• 申請（專利權(quán)）人: 海納云物聯(lián)科技有限公司;青島海納云智能系統(tǒng)有限公司;青島海納云數(shù)字科技有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06V20/40;G06V10/762;G06V10/764
• 代理公司: 北京元中知識產(chǎn)權(quán)代理有限責(zé)任公司 11223
• 代理人: 王明霞

本發(fā)明涉及一種結(jié)合幀間信息的非均勻運(yùn)動模糊視頻復(fù)原方法，包括以下步驟：獲取需要處理的視頻，判斷視頻幀圖像的清晰度，獲得模糊幀和最近的對比清晰幀，檢測模糊幀與對比清晰幀的特征點(diǎn)，提取清晰圖像塊和模糊圖像塊，計算模糊圖像塊的運(yùn)動向量長度比，估算模糊幀的光流，計算模糊幀的運(yùn)動向量長度比，對模糊幀、光流和運(yùn)動向量長度比進(jìn)行下采樣，建立金字塔模型，固定光流和運(yùn)動向量長度比，計算潛在清晰幀，固定潛在清晰幀和運(yùn)動向量長度比，計算光流，固定潛在清晰幀和光流，計算運(yùn)動向量長度比，計算出最高分辨率的潛在清晰幀、光流和運(yùn)動向量長度比，將潛在清晰幀替換所述模糊幀，得到復(fù)原后的清晰視頻。本發(fā)明方法復(fù)原出的視頻幀更清晰。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理、模式識別技術(shù)，尤其是一種結(jié)合幀間信息的非均勻運(yùn)動模糊視頻復(fù)原方法。

背景技術(shù)

運(yùn)動模糊通常存在于視頻中，它嚴(yán)重影響了視頻的質(zhì)量。空間不變模糊通常是在拍攝沒有深度變化的靜態(tài)場景時，曝光時間內(nèi)相機(jī)發(fā)生了抖動造成的。空間變化模糊的形成原因有兩種，一種是拍攝的靜態(tài)場景有較大的深度變化，曝光時間內(nèi)發(fā)生了相機(jī)抖動；另一種是拍攝場景中有快速運(yùn)動的物體，視頻圖像中各像素點(diǎn)的模糊程度不同。

近年來許多學(xué)者展開了大量研究來對運(yùn)動模糊視頻進(jìn)行復(fù)原，根據(jù)問題求解的方式不同可以分為傳統(tǒng)方法和深度學(xué)習(xí)方法。傳統(tǒng)方法多采用最優(yōu)化算法對視頻的清晰幀進(jìn)行求解，并將相機(jī)抖動和物體運(yùn)動分成了兩類問題。早期的研究工作主要研究單幀空間不變模糊圖像的復(fù)原，首先求解一個空間一致的模糊核，然后利用該模糊核對模糊圖像進(jìn)行反卷積，最后得到復(fù)原的清晰圖像，比如S.Cho,S.Lee,Fast motion deblurring,AcmTransactions on Graphics,28(5)(2009)1-8.中的ADM算法,S.Cho,H.Cho,Y.W.Tai,Registration based non-uniform motion deblurring,Computer Graphics Forum,31(7)(2012)2183–2192.中的FTVd等算法，這些方法可以一定程度上用于沒有深度變化的靜態(tài)場景的去模糊中；為了解決具有深度變化的場景帶來的空間變化模糊問題，C.Paramanand and A.N.Rajagopalan,Non-uniform motion deblurring for bilayerscenes,in Proc.IEEE Conf.ComputerVision and Pattern Recognition,2013,pp.1115-1122.文章提出了多層分割方法來復(fù)原這種類型的模糊圖像；之后，人們的研究深入到了處理運(yùn)動物體造成的空間變化模糊，這種方法通常通過計算幀內(nèi)運(yùn)動向量進(jìn)而計算模糊核用于清晰幀復(fù)原，X.Deng,Y.Shen,M.Song,Video-based non-uniform object motion blurestimation and deblurring,Neurocomputing,86(4)(2012)170–178.提出了基于特征點(diǎn)匹配和德勞內(nèi)插值的方法來計算稠密的幀間運(yùn)動向量，再將幀間運(yùn)動向量與拍攝時的曝光時間與幀間時間間隔(幀率的倒數(shù))的比值(簡稱為時間長度比)，就可以得到幀內(nèi)的運(yùn)動向量；由于插值存在較大的誤差，T.H.Kim,K.M.Lee,Generalized video deblurring fordynamic scenes,in Proc.IEEE Conf.Computer Vision and Pattern Recognition,2015,pp.5426-5434.又提出用光流來替代幀間運(yùn)動向量，這些方法都是基于幀間運(yùn)動為勻速運(yùn)動并且每幀曝光時間已知的假設(shè)。在實際拍攝中，幀間的相對運(yùn)動通常不是勻速的，表現(xiàn)為各幀的模糊程度不同，因此幀內(nèi)運(yùn)動向量與幀間運(yùn)動向量模長的比值(簡稱為運(yùn)動向量長度比，the ratio ofmotionvector length)不等于時間長度比，除此之外，同一幀中具有不同運(yùn)動狀態(tài)的物體，運(yùn)動向量長度比也是不相等的。因此，使用前面所述的方法用一個統(tǒng)一的時間長度比來計算幀內(nèi)運(yùn)動向量會引入誤差。