[發(fā)明專利]基于數(shù)據(jù)仿真的視頻超分辨方法、系統(tǒng)、設備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202110800420.8
• 申請日: 2021-07-15
• 公開（公告）號: CN113469884A
• 公開（公告）日: 2021-10-01
• 發(fā)明（設計）人: 林格;全紹軍
• 申請（專利權）人: 長視科技股份有限公司;中山大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/50;G06N3/04;G06N3/08
• 代理公司: 廣州華進聯(lián)合專利商標代理有限公司 44224
• 代理人: 黃麗霞

本發(fā)明公開了一種基于數(shù)據(jù)仿真的視頻超分辨方法。包括：采集高分辨率視頻與低分辨率目標視頻；對低分辨率目標視頻的模糊核、噪聲進行采樣；利用模糊核對高分辨率視頻進行模糊并添加噪聲，構建出仿真視頻數(shù)據(jù)集；構建超分辨率網(wǎng)絡模型，并利用仿真視頻數(shù)據(jù)集進行訓練；利用訓練好的超分辨率網(wǎng)絡模型對低分辨率目標視頻進行超分辨重建，生成需要的超分辨率視頻。本發(fā)明還公開了一種基于數(shù)據(jù)仿真的視頻超分辨系統(tǒng)、計算機設備及計算機可讀存儲介質(zhì)。本發(fā)明通過數(shù)據(jù)仿真的方法，采用對抗生成網(wǎng)絡以及統(tǒng)計的方式對目標低分辨率數(shù)據(jù)集的特征進行采樣和估計，能生成更加符合實際條件的低分辨率視頻的訓練數(shù)據(jù)，提高了超分辨率的效果。

技術領域

本發(fā)明涉及圖像處理技術領域，具體涉及一種基于數(shù)據(jù)仿真的視頻超分辨方法、基于數(shù)據(jù)仿真的視頻超分辨系統(tǒng)、計算機設備及計算機可讀存儲介質(zhì)。

背景技術

分辨率指的是一張圖像所包含的像素數(shù)量，分辨率越高則圖像越清晰，包含的內(nèi)容和細節(jié)信息也就越多。超分辨率重建技術指的是通過算法從低分辨率圖像中獲取對應的高分辨率圖像，還原或者增加圖像細節(jié)，使得圖像更符合人類的視覺感知。隨著科學技術的進步和生產(chǎn)力的發(fā)展，智能設備普及率得到進一步提高，每天都會因此產(chǎn)生數(shù)以萬計的視頻數(shù)據(jù)，人們也能隨時隨地觀看視頻，視頻已經(jīng)成為了日常生活中接觸最多，信息量最為豐富的信息載體。因此，研究如何通過低分辨率的視頻獲取到高分辨率的高清視頻有非常重要的現(xiàn)實意義。此外，視頻超分辨在視頻監(jiān)控、遙感成像、醫(yī)療診斷同樣有著非常廣泛的研究價值。

目前的現(xiàn)有技術之一是Shi等的《Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network》所提出的ESPCN的單圖像超分辨重建方法，利用了像素重組的上采樣方式，即圖像在經(jīng)過數(shù)個卷積層后得到放大倍數(shù)平方通道，且大小與原圖大小一致的特征圖，隨后對這些特征圖進行重新排列，每一個通道特征圖像素點代表了重建后的高分辨率圖像對應位置的一個像素點，最終合并得到對應放大倍數(shù)的高分辨率圖像。該方法對單圖像的處理效率高，且像素重組的思路也被廣泛應用于后續(xù)的其他超分辨方法中。視頻可以看作是多幀圖像的集合，因此可以利用現(xiàn)有的單圖像超分辨方法對視頻所有幀進行重建。該方法的缺點是：由于視頻數(shù)據(jù)的特點，幀與幀之間通常是連續(xù)的運動變化過程，具有相似性，視頻的抖動可以看作是對同一場景的不同位置采樣，能為超分辨重建提供更多的信息，例如，同一場景下的多幀圖像可以用于去除隨機噪聲。單獨地對視頻所有幀進行超分辨重建，沒有利用到幀與幀之間的關系信息，導致單圖像超分辨直接應用在視頻數(shù)據(jù)上時效果不理想。

目前的現(xiàn)有技術之二是Wang等的《EDVR:Video restoration withenhanceddeformable convolutional networks》提出的EDVR的視頻超分辨重建方法，主要包括兩個關鍵模塊：金字塔層疊變形(PCD)對齊模塊以及時空注意力(TSA)融合模塊，用于解決視頻超分辨率多幀對齊以及劇烈晃動的問題。EDVR首先將視頻轉化為圖像序列，每次將數(shù)幀作為網(wǎng)絡的輸入，并將其中一幀作為關鍵幀，通過PCD對齊模塊將相鄰幀對齊到關鍵幀，然后對齊后的幀經(jīng)過TSA融合模塊得到融合特征，最后通過重建模塊利用像素重組的方式將融合特征重建為殘差圖，并與關鍵幀的雙線性插值法得到的上采樣結果進行逐像素的相加得到重建后的一幀。重復這個過程直到視頻所有幀都完成超分辨率重建。該方法的缺點是：采用REDS作為訓練集，該數(shù)據(jù)集通過對視頻中每一幀進行雙三次插值下采樣構成低分辨率的成對訓練數(shù)據(jù)，然而由于現(xiàn)實中低分辨率視頻并不是通過理想的雙三次插值法下采樣獲取得到的，而且雙三次插值法會造成圖像的高頻信息丟失，凸顯低頻信息，這使得訓練數(shù)據(jù)低分辨率和高分辨率之間產(chǎn)生了較大的偏差，因此該方法在同樣采用雙三次插值法構造的訓練集中有明顯的重建效果，而直接應用到真實的視頻應用中重建效果卻不明顯。

發(fā)明內(nèi)容