[發明專利]一種基于低秩先驗信息的混合分辨率多視點視頻超分辨方法

有效

• 申請號: 202010570081.4
• 申請日: 2020-06-21
• 公開（公告）號: CN111882486B
• 公開（公告）日: 2023-03-10
• 發明（設計）人: 盧少平;李森茂
• 申請（專利權）人: 南開大學
• 主分類號: G06T3/40
• 分類號: G06T3/40
• 代理公司: 天津耀達律師事務所 12223
• 代理人: 張耀

一種基于低秩先驗信息的混合分辨率多視點視頻超分辨方法，屬于圖像和視頻處理技術領域。混合分辨率多視點視頻是由多路多視點視頻組成，包括多路低分辨率視頻和多路高分辨率視頻，所提出的超分辨率方法的目的是利用高分辨率視頻的紋理等信息來重構低分辨率視頻，同時將圖像\視頻的低秩先驗作為約束條件。該方法提出了一種新的混合多視點超分辨的方法，該方法考慮到多視點視頻間包含著許多相似的信息，該方法基于流形嵌入的思想充分利用高分辨率視頻的紋理等信息，同時利用低秩先驗信息來抑制噪聲。該方法充分利用了高分辨率視頻的紋理等信息，同時有效的抑制了噪聲，有效地對低分辨率視頻進行了重構。

技術領域

本發明屬于圖像和視頻處理技術領域，特別涉及到一種基于低秩先驗信息和流形嵌入的多視點視頻的超分辨方法。

背景技術

3D電影\游戲、虛擬現實等技術都會涉及到多視點視頻，但是由于硬件和帶寬等的限制，往往多視點的多路視頻不都是高分辨率的，而通常都只能獲取既包含高分辨率也包含低分辨率的多路混合多視點視頻。當獲取混合多視點視頻后，為了滿足某些需要，就需要基于獲取的混合多視點視頻來重構其中的低分辨率視頻，也就是為低分辨率視頻作超分辨重構。

圖像\視頻超分辨是計算機視覺中的基本任務，其目的是由給定的低分辨率圖像\視頻重構出對應的高分辨率圖像，使重構效果盡量符合高分辨率圖像的質量和視覺要求，在傳統的超分辨重構的過程中通常基于一定的先驗知識，如梯度、幾何、稀疏、低秩等。超分辨任務可以分為單圖像超分辨和多圖像超分辨。通常，單圖像超分辨基于一定的先驗知識對低分辨率圖像進行重構，由于除了低分辨率圖像外沒有其他圖像信息可以利用，所以重構效果取決于是否可以有效地利用先驗知識。2010年Yang等人利用自然圖像的稀疏先驗[1]，在數據集上訓練有關低分辨率和高分辨率圖像對的字典，然后基于訓練字典對低分辨率圖像進行重構，2015年Huang等人利用圖像自身的多尺度相似圖像塊對低分辨率圖像進行重構[3]。近幾年，隨著深度學習的快速發展，卷積神經網絡(ConvolutioanlNeuralNetworts,CNN)被用于解決圖像超分辨問題，C.Dong等人第一次將CNN用于解決圖像超分辨問題[4]，效果有很大的提升。隨后，更加復雜的生成對抗網絡(Generating adversarialnetworks,GAN)和殘差網絡(Residual Networks,ResNet)用來對低分辨率圖像做超分辨，C.ledig等人將GAN用于超分辨[6]，雖然傳統的重構質量評測指標PSNR和SSIM在該方法中的數值不是很高，但是視覺效果比一些評測指標高的超分辨方法要好，所以該方法的主觀評測數值很高，B.Lim等人將ResNet用于超分辨[7]，雖然減少了參數量，但是還是需要很長的訓練時間。為了學習更加抽象的特征，J.Kim等人使用更深層的CNN[8]，雖然得到了更好的重構效果，但是網絡復雜度和網路參數都會大大提高，從而增加訓練時間。基于深度學習的方法雖然取得了一定效果，但是需要大量的訓練數據和很長的訓練時間。

當輸入為多路混合多視點視頻時，如何有效地利用高分辨率視頻是關鍵問題。T.Richter等人2016年在IEEE Transactions on Image Processing上發表了一篇基于混合多視點視頻加深度信息的超分辨工作[10]，該工作利用RGB圖像與深度圖將高分辨率視頻信息轉移到低分辨率圖像中，從而達到重構的目的。該方法的效果在很大程度上取決于深度圖的質量，當深度圖像不是很準確性時，重構效果會受到很大影響，而且還需要考慮沒有深度圖的情況。

發明內容

本發明目的是解決現有混合多視點視頻重構方法存在的十分依賴深度圖的問題，提出一種有效的重構方法。該方法只使用輸入的多路多視點RGB圖像，而不需要深度圖像，來重構低分辨率視頻，同時提出一種基于梯度的混合多視點質量評測方法。

本發明的技術方案

基于低秩先驗的混合多視點視頻的超分辨方法，該方法充分利用多視點視頻間的相似的，利用高分辨紋理來重構低分辨紋理，同時利用低秩先驗信息來抑制塊噪聲。具體包括以下步驟：