[發(fā)明專利]視頻超分辨率重建方法、裝置、計算機設(shè)備及存儲介質(zhì)在審
| 申請?zhí)枺?/td> | 202210554865.7 | 申請日： | 2022-05-20 |
| 公開（公告）號： | CN114926336A | 公開（公告）日： | 2022-08-19 |
| 發(fā)明（設(shè)計）人： | 王功華;李盛;汪利 | 申請（專利權(quán)）人： | 深圳軟牛科技有限公司 |
| 主分類號： | G06T3/40 | 分類號： | G06T3/40;G06T5/00;G06T5/50;G06N3/04;G06N3/08;G06V10/774 |
| 代理公司： | 深圳市精英專利事務(wù)所 44242 | 代理人： | 丁宇龍 |
| 地址： | 518000 廣東省深圳市寶安區(qū)新安街道海旺社*** | 國省代碼： | 廣東;44 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 視頻 分辨率 重建 方法 裝置 計算機 設(shè)備 存儲 介質(zhì) | ||
本發(fā)明公開了視頻超分辨率重建方法、裝置、計算機設(shè)備及存儲介質(zhì)，該方法包括：獲取待進行超分辨率重建的視頻序列；采用輕量級殘差降噪網(wǎng)絡(luò)對所述視頻序列進行降噪處理；將降噪處理后的視頻序列輸入至視頻超分辨率網(wǎng)絡(luò)中，并由所述視頻超分辨率網(wǎng)絡(luò)輸出所述視頻序列對應(yīng)的超分辨率重建特征圖。本發(fā)明基于輕量級降噪網(wǎng)絡(luò)的視頻超分重建方法通過引入殘差去噪網(wǎng)絡(luò)，對視頻序列進行降噪處理，然后構(gòu)建具有雙向傳播及光流對齊的視頻超分辨網(wǎng)絡(luò)，對降噪后的視頻序列進行重建處理，從而提高視頻超分辨率重建效果，并且采用輕量級殘差降噪網(wǎng)絡(luò)可以加快重建運行速度。
技術(shù)領(lǐng)域
本發(fā)明涉及視頻處理技術(shù)領(lǐng)域，特別涉及視頻超分辨率重建方法、裝置、計算機設(shè)備及存儲介質(zhì)。
背景技術(shù)
隨著多媒體產(chǎn)品的流行程度越來越高，在視頻采集、壓縮、傳輸及保存的過程中會出現(xiàn)不同程度的失真，導(dǎo)致最終的視頻質(zhì)量比較差，因而需要用超分辨重建算法來獲取更清晰的視頻內(nèi)容。與傳統(tǒng)的視頻超分辨率重建算法相比，基于深度學(xué)習(xí)的算法已成為更加主流的研究方法，在視頻翻新、網(wǎng)絡(luò)視頻播放、智能安防、醫(yī)療影像等領(lǐng)域都有著廣泛的應(yīng)用。然而失真的視頻中含有大量的噪聲，現(xiàn)有的研究都直接對失真的視頻進行超分辨率重建，將噪聲的影響放大效果并不理想。
視頻超分辨率是指將低分辨率的視頻，增強轉(zhuǎn)化為高分辨視頻。其應(yīng)用的范圍非常的廣泛，比如視頻翻新、智能安防、醫(yī)療影像，還有比較流行的網(wǎng)絡(luò)視頻播放，即在低寬帶的條件下傳輸?shù)头直媛室曨l，再通過視頻超分的算法在播放端還原成高分辨率的視頻。
與圖像的超分辨率重建相比，視頻超分辨率重建帶來了額外的挑戰(zhàn)，需要考慮幀之間的連續(xù)性及處理速率的問題。當(dāng)前大多視頻超分辨率重建直接采用了圖像超分辨率算法，僅使用當(dāng)前幀的信息作為重建內(nèi)容，從而導(dǎo)致最終重建效果不甚理想。
發(fā)明內(nèi)容
本發(fā)明實施例提供了一種視頻超分辨率重建方法、裝置、計算機設(shè)備及存儲介質(zhì)，旨在提高視頻超分辨率重建效果和運行速度。
第一方面，本發(fā)明實施例提供了一種視頻超分辨率重建方法，包括：
獲取待進行超分辨率重建的視頻序列；
采用輕量級殘差降噪網(wǎng)絡(luò)對所述視頻序列進行降噪處理；
將降噪處理后的視頻序列輸入至視頻超分辨率網(wǎng)絡(luò)中，并由所述視頻超分辨率網(wǎng)絡(luò)輸出所述視頻序列對應(yīng)的超分辨率重建特征圖。
第二方面，本發(fā)明實施例提供了一種視頻超分辨率重建裝置，包括：
視頻序列獲取單元，用于獲取待進行超分辨率重建的視頻序列；
視頻序列降噪單元，用于采用輕量級殘差降噪網(wǎng)絡(luò)對所述視頻序列進行降噪處理；
超分辨率重建單元，用于將降噪處理后的視頻序列輸入至視頻超分辨率網(wǎng)絡(luò)中，并由所述視頻超分辨率網(wǎng)絡(luò)輸出所述視頻序列對應(yīng)的超分辨率重建特征圖。
第三方面，本發(fā)明實施例提供了一種計算機設(shè)備，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，所述處理器執(zhí)行所述計算機程序時實現(xiàn)如第一方面所述的視頻超分辨率重建方法。
第四方面，本發(fā)明實施例提供了一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)上存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)如第一方面所述的視頻超分辨率重建方法。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于深圳軟牛科技有限公司，未經(jīng)深圳軟牛科技有限公司許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202210554865.7/2.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
