[發(fā)明專利]基于深度網(wǎng)絡(luò)的視頻復(fù)原模型訓(xùn)練方法及視頻復(fù)原方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201910136584.8
• 申請(qǐng)日: 2019-02-25
• 公開(kāi)（公告）號(hào): CN109949234B
• 公開(kāi)（公告）日: 2020-10-02
• 發(fā)明（設(shè)計(jì)）人: 桑農(nóng);武理友;李樂(lè)仁瀚;李亞成;高常鑫
• 申請(qǐng)（專利權(quán)）人: 華中科技大學(xué)
• 主分類號(hào): G06T5/00
• 分類號(hào): G06T5/00;G06N3/04;G06N3/08
• 代理公司: 華中科技大學(xué)專利中心 42201
• 代理人: 曹葆青;李智

本發(fā)明公開(kāi)了一種基于深度網(wǎng)絡(luò)的視頻復(fù)原模型訓(xùn)練方法及視頻復(fù)原方法，包括：從標(biāo)準(zhǔn)的清晰視頻中獲得多幀清晰圖像；對(duì)各幀清晰圖像進(jìn)行高斯模糊處理，以得到各幀清晰圖像所對(duì)應(yīng)的模糊圖像；將連續(xù)n幀清晰圖像及對(duì)應(yīng)的n幀模糊圖像構(gòu)成的{清晰圖像序列，模糊圖像序列}對(duì)作為一個(gè)訓(xùn)練樣本，從而得到由所有訓(xùn)練樣本構(gòu)成的訓(xùn)練集；建立由n?1個(gè)編解碼網(wǎng)絡(luò)依次連接而成的視頻復(fù)原模型，用于根據(jù)模糊圖像I_n及其前n?1幀模糊圖像I_n?1～I(xiàn)₁對(duì)模糊圖像I_n進(jìn)行圖像復(fù)原；利用訓(xùn)練集對(duì)視頻復(fù)原模型進(jìn)行訓(xùn)練，從而得到目標(biāo)視頻復(fù)原模型。本發(fā)明能夠提高模糊視頻復(fù)原的效率和復(fù)原效果。

技術(shù)領(lǐng)域

本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，更具體地，涉及一種基于深度網(wǎng)絡(luò)的視頻復(fù)原模型訓(xùn)練方法及視頻復(fù)原方法。

背景技術(shù)

隨著信息化高速發(fā)展，智能手機(jī)、VR設(shè)備等電子產(chǎn)品的引用越來(lái)越普及。與此同時(shí)，視頻監(jiān)控、視頻傳輸?shù)燃夹g(shù)的應(yīng)用越來(lái)越廣泛。在視頻的拍攝或者傳輸過(guò)程中，很容易由于種種原因造成視頻信息的缺失或者失真，導(dǎo)致視頻模糊。

圖像復(fù)原一直是圖像處理領(lǐng)域中一個(gè)重要的研究方向，早期的圖像復(fù)原技術(shù)根據(jù)是否已知模糊圖像的點(diǎn)擴(kuò)展函數(shù)(PSF)將圖像復(fù)原分為非盲圖像復(fù)原和盲圖像復(fù)原。由于模糊圖像的點(diǎn)擴(kuò)展函數(shù)不容易獲取，早期的圖像復(fù)原主要以研究非盲圖像復(fù)原為主，其中較早被提出的逆濾波、最小二乘方濾波等方法由于建模相對(duì)簡(jiǎn)單，復(fù)原得到的圖像普遍存在噪聲很大、具有邊緣振鈴效應(yīng)大等問(wèn)題。文獻(xiàn)“Fast image deconvolution usinghyper-Laplacian priors”針對(duì)自然場(chǎng)景的梯度經(jīng)驗(yàn)分布，提出了基于超拉普拉斯先驗(yàn)的圖像復(fù)原算法，該算法雖然可以大大降低復(fù)原圖像的邊緣振鈴效應(yīng)，但是算法的運(yùn)行效率較低。因此，非盲圖像復(fù)原的使用范圍被大大的限制了。

文獻(xiàn)“Blind Image Deblurring Using Dark Channel Prior”使用圖像的暗通道先驗(yàn)知識(shí)先對(duì)模糊圖像的點(diǎn)擴(kuò)展函數(shù)進(jìn)行估計(jì)，然后通過(guò)非盲圖像復(fù)原算法得到清晰圖像，這種方法雖然可以取得不錯(cuò)的效果，但是其模糊核的估計(jì)時(shí)間較長(zhǎng)，使得復(fù)原的效率很低。隨著近些年硬件和深度學(xué)習(xí)的快速發(fā)展，將深度學(xué)習(xí)的框架用于解決圖像處理領(lǐng)域的很多問(wèn)題越來(lái)越普遍。專利“一種基于深度神經(jīng)網(wǎng)絡(luò)的圖像非均勻運(yùn)動(dòng)模糊去除方法”(申請(qǐng)?zhí)枺篊N 104680491)提出了使用深度卷積網(wǎng)絡(luò)來(lái)估計(jì)模糊圖像塊的點(diǎn)擴(kuò)展函數(shù)，然后利用優(yōu)化的馬爾可夫隨機(jī)場(chǎng)模型獲得模糊圖像逐像素不同的點(diǎn)擴(kuò)展函數(shù)，最后，基于估計(jì)的點(diǎn)擴(kuò)展函數(shù)使用圖像非盲復(fù)原算法得到清晰圖像，該方法成功將深度學(xué)習(xí)引入到了圖像復(fù)原中，但是該方法需要先通過(guò)深度網(wǎng)絡(luò)得到模糊圖像的點(diǎn)擴(kuò)展函數(shù)，再通過(guò)非盲翻卷算法實(shí)現(xiàn)模糊圖像復(fù)原，不能實(shí)現(xiàn)端到端的圖像復(fù)原，在實(shí)際應(yīng)用中使用比較復(fù)雜。

總體而言，現(xiàn)有的模糊圖像復(fù)原方法存在一定的局限，使得基于模糊圖像復(fù)原的視頻復(fù)原方法也存在效率低、效果差的問(wèn)題。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)的缺陷和改進(jìn)需求，本發(fā)明提供了一種基于深度網(wǎng)絡(luò)的視頻復(fù)原模型訓(xùn)練方法及視頻復(fù)原方法，其目的在于提高模糊視頻復(fù)原的效率和復(fù)原效果。

為實(shí)現(xiàn)上述目的，按照本發(fā)明的第一方面，提供了一種基于深度網(wǎng)絡(luò)的視頻復(fù)原模型訓(xùn)練方法，包括：

(1)從標(biāo)準(zhǔn)的清晰視頻中獲得多幀清晰圖像；

(2)對(duì)各幀清晰圖像進(jìn)行高斯模糊處理，以得到各幀清晰圖像所對(duì)應(yīng)的模糊圖像；

(3)將連續(xù)n幀清晰圖像及對(duì)應(yīng)的n幀模糊圖像構(gòu)成的{清晰圖像序列，模糊圖像序列}對(duì)作為一個(gè)訓(xùn)練樣本，從而得到由所有訓(xùn)練樣本構(gòu)成的訓(xùn)練集；

(4)建立由n-1個(gè)編解碼網(wǎng)絡(luò)依次連接而成的視頻復(fù)原模型，用于根據(jù)模糊圖像I_n及其前n-1幀模糊圖像I_n-1～I(xiàn)₁對(duì)模糊圖像I_n進(jìn)行圖像復(fù)原；