[發(fā)明專利]一種視頻去模糊方法、裝置及計(jì)算設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202110857776.5
• 申請(qǐng)日: 2021-07-28
• 公開（公告）號(hào): CN113658062A
• 公開（公告）日: 2021-11-16
• 發(fā)明（設(shè)計(jì)）人: 樊碩
• 申請(qǐng)（專利權(quán)）人: 上海影譜科技有限公司
• 主分類號(hào): G06T5/00
• 分類號(hào): G06T5/00;G06T5/20;G06N3/04;G06N3/08
• 代理公司: 北京萬(wàn)思博知識(shí)產(chǎn)權(quán)代理有限公司 11694
• 代理人: 孫黎生

本申請(qǐng)公開了一種視頻去模糊方法、裝置及計(jì)算設(shè)備。所述方法包括：建立3D CNN模塊，所述3D CNN模塊包括19層3D卷積層，其中，第2層至第10層為編碼器，第11層至第19層為解碼器；對(duì)所述3D CNN模塊進(jìn)行預(yù)訓(xùn)練；建立傅里葉積累模塊FAM，形成3D CNN+FAM網(wǎng)絡(luò)，所述3D CNN+FAM網(wǎng)絡(luò)包括5個(gè)3D CNN模塊和1個(gè)FAM，所述FAM包括4層2D卷積層，所述5個(gè)3D CNN模塊的輸入分別為一個(gè)視頻中相鄰的5幀圖像，所述相鄰的5幀圖像經(jīng)過(guò)5個(gè)3D CNN模塊處理后形成1幀中間去模糊圖像，所述FAM用于對(duì)所述中間去模糊圖像進(jìn)行處理，并輸出1幀最終的去模糊圖像；對(duì)所述3DCNN+FAM網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到最終的3D CNN+FAM網(wǎng)絡(luò)。

技術(shù)領(lǐng)域

本申請(qǐng)涉及視頻去模糊技術(shù)，特別是涉及利用卷積神經(jīng)網(wǎng)絡(luò)(CNN)進(jìn)行視頻去模糊的技術(shù)。

背景技術(shù)

由于攝像機(jī)抖動(dòng)、成像系統(tǒng)退化和物體移動(dòng)等原因造成了不希望看到的模糊，因此視頻清模糊是一個(gè)具有挑戰(zhàn)性的問(wèn)題。利用視頻的時(shí)空相關(guān)性來(lái)銳化模糊幀的方法已經(jīng)有很多了。在不同的幀數(shù)下，同一區(qū)域可能存在清晰和模糊的像素。通過(guò)提高像素銳化的影響和降低模糊像素的影響，可以提高視頻質(zhì)量。根據(jù)這一思想，提出了一種傅里葉突發(fā)積累方法，即建立對(duì)齊的相鄰幀，然后在傅里葉域內(nèi)融合這些相鄰幀。類似地，如基于塊的累加方法來(lái)融合相鄰幀，恢復(fù)模糊區(qū)域。和基于運(yùn)動(dòng)流的像素變化核參數(shù)化方法，并將其推廣到逐幀圖像去模糊。為了保證去模糊的質(zhì)量，許多去模糊方法都需要精確的對(duì)齊(例如，同調(diào)對(duì)齊)，光流對(duì)準(zhǔn))視頻中的多幀和復(fù)雜的運(yùn)動(dòng)流。這種預(yù)處理方法計(jì)算量大，大大降低了圖像去模糊的效率。

卷積神經(jīng)網(wǎng)絡(luò)(CNNs)及其擴(kuò)展在計(jì)算機(jī)視覺(jué)領(lǐng)域取得了前所未有的進(jìn)展。一些工作已經(jīng)證明CNNs可以產(chǎn)生最先進(jìn)的視頻去模糊性能。現(xiàn)有的去模糊方法如，基于U-net的去模糊網(wǎng)絡(luò)(DBN)。將相鄰幀疊加到DBN中，恢復(fù)中心幀。和一種基于深度CNN的非盲去模糊方法，該方法將傳統(tǒng)的基于優(yōu)化的去模糊算法轉(zhuǎn)化為網(wǎng)絡(luò)。利用CNN對(duì)修補(bǔ)后的模糊核進(jìn)行預(yù)測(cè)，然后對(duì)整個(gè)圖像的模糊核進(jìn)行估計(jì)。此外還有一種利用CNN作為生成對(duì)抗性網(wǎng)絡(luò)(GAN)進(jìn)行視頻去模糊的方法，這有助于實(shí)現(xiàn)主觀視覺(jué)去模糊性能。用于視像去模糊的生成器，有助于實(shí)現(xiàn)主觀視覺(jué)去模糊性能。另外，曾經(jīng)有人提出了一種基于遞歸神經(jīng)網(wǎng)絡(luò)(RNN)的在線視頻去模糊方法，他們將動(dòng)態(tài)的時(shí)間混合層附加到二維網(wǎng)絡(luò)中，以增強(qiáng)時(shí)間一致性，從而獲得準(zhǔn)確的時(shí)空信息。但是，這些去模糊方法為了保證去模糊質(zhì)量，都需要對(duì)視頻中的多幀和復(fù)雜運(yùn)動(dòng)流進(jìn)行精確的對(duì)齊(如單應(yīng)對(duì)齊、光流對(duì)齊)，導(dǎo)致預(yù)處理計(jì)算量大，大大降低視頻去模糊的效率。

發(fā)明內(nèi)容

本申請(qǐng)的目的在于克服上述問(wèn)題或者至少部分地解決或緩減解決上述問(wèn)題。

根據(jù)本申請(qǐng)的一個(gè)方面，提供了一種視頻去模糊方法，包括：

建立3D CNN模塊，所述3D CNN模塊包括19層3D卷積層，其中，第2 層至第10層為編碼器，第11層至第19層為解碼器；

對(duì)所述3D CNN模塊進(jìn)行預(yù)訓(xùn)練；

建立傅里葉積累模塊FAM，形成3D CNN+FAM網(wǎng)絡(luò)，所述3D CNN+FAM 網(wǎng)絡(luò)包括5個(gè)3DCNN模塊和1個(gè)FAM，所述FAM包括4層2D卷積層，所述5個(gè)3D CNN模塊的輸入分別為一個(gè)視頻中相鄰的5幀圖像，所述相鄰的5 幀圖像經(jīng)過(guò)5個(gè)3D CNN模塊處理后形成1幀中間去模糊圖像，所述FAM用于對(duì)所述中間去模糊圖像進(jìn)行處理，并輸出1幀最終的去模糊圖像；

對(duì)所述3D CNN+FAM網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到最終的3D CNN+FAM網(wǎng)絡(luò)。

可選地，所述3D CNN模塊的每層3D卷積層和所述傅里葉積累模塊的每層2D卷積層均包括批處理歸一化和整線性單元。

可選地，所述編碼器和解碼器之間還設(shè)置有跳躍連接。

可選地，對(duì)所述3D CNN模塊進(jìn)行預(yù)訓(xùn)練的過(guò)程中，使的損失函數(shù)為：