[發明專利]一種基于光流運動估計算法的多幀圖像超分辨率重建方法

在審

• 申請號: 202010436239.9
• 申請日: 2020-05-21
• 公開（公告）號: CN111696035A
• 公開（公告）日: 2020-09-22
• 發明（設計）人: 賈海濤;周蘭蘭;王磊;賈宇明;許文波;羅欣;趙行偉;范世煒
• 申請（專利權）人: 電子科技大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T7/269
• 代理公司: 電子科技大學專利中心 51203
• 代理人: 鄧黎

本發明公開了一種基于光流運動估計算法的多幀圖像超分辨率重建方法，屬于計算機視覺領域。該方法分為三個模塊：第一個模塊為光流運動估計算法模塊，能夠計算出輸入的兩幀低分辨率圖像之間的運動矢量；第二個模塊為運動變換模塊，能夠將低分辨圖像通過運動矢量變換為另一幀低分辨率圖像；第三個模塊為多幀圖像融合重建模塊，能夠將不同幀低分辨率圖像的信息進行融合，重建為一幀高分辨率圖像。本發明在多幀圖像融合重建的基礎上，結合光流的運動估計算法，通過對多幀圖像運動變換對齊融合重建的方式將多幀相鄰的低分辨率圖像信息都利用了起來，能夠得到具有更好高頻細節的高分辨率圖像，且重建圖像的客觀評價指標峰值信噪比PSNR和結構相似度SSIM更高。

技術領域

本發明屬于計算機視覺領域，具體涉及能夠獲得清晰的高頻細節的基于光流運動估計算法的多幀圖像超分辨率重建技術。

背景技術

高分辨率圖像是指分辨率更高，圖像的像素數量更多的一類圖像，它更能夠反映出成像目標的細節特征。這對于許多不同的應用場景來說都是必要且珍貴的一種圖像數據。例如，在醫學影像領域，高分辨率圖像能夠幫助醫生判斷病灶的特征以保證診斷的精準度；在航空及航天遙感領域，從更高分辨率的圖像中觀察到的地物更為清晰，因此可以提升圖像目標識別等計算機視覺應用的精度；在攝影領域，更高分辨率圖像帶來更強的視覺效果和目標場景的保真度。

圖像超分辨率重建方法是將成像系統獲得的單幀或多幀低分辨率圖像通過計算的方式得到高分辨率圖像的一種技術。歷經將近三十多年的發展，超分辨成像方法不僅在學術界受到廣泛關注，部分超分辨成像技術已經實現了工業化，甚至進入人們的日常生活中。這種技術出現最重要的價值是它能夠使用低成本的低分辨率相機來代替高分辨率相機，以此來降低成像系統的經濟成本，工藝難度和高分辨率成像系統的光學系統難度。一般來說，超分辨成像方法分為兩種，分別是多幀超分辨成像和單幀超分辨成像。兩種方法的區別在于輸入低分辨率圖像的數量。如果對于某一固定場景成像的多幀低分辨率圖像序列之間存在低于一個像素的位移，亞像元的位移造成的新的空間維信息的補充，使得多幀低分辨率圖像拼接得到高分辨率圖像。

近年來，隨著人工智能的大力發展，使得針對深度神經網絡的研究產生了飛躍式的進展。深度學習技術與許多學科領域的結合都取得了引人注目的成果。在計算機視覺與圖像處理領域，將深度學習技術應用于圖像超分辨率重建問題已成為當下及未來的一個主要的研究方向。

這類算法不需要使用插值處理操作或通過多幅圖像之間的映射關系以獲取高分辨率圖像，其憑借著優越的重建效果與理想的重建速率，迅速成為圖像超分辨率重建領域研究的熱點——通過卷積神經網絡將更多關鍵的圖像像素信息作為網絡模型的輸入，利用更加豐富的先驗知識作為條件約束，最終實現效果更加出色的超分辨率重建。因此，研究基于深度學習的圖像超分辨率重建算法有著重要且深遠的現實意義與應用價值。

運動估計作為很多計算機視覺任務的基礎，是一個長期研究的課題。近年來，Dosovitskiy等人的開創性工作FlowNet即Learning Optical Flow with ConvolutionalNetworks基于卷積網絡的光流估計算法表明，圖像幀之間的運動估計是可以通過一個卷積神經網絡端到端的學習得到的。

近年來，卷積神經網絡已經成為解決計算機視覺領域問題的首選方法，它最先被成功的應用于圖像分類任務中并以其驚人的準確度而受到大量關注，最近，它也被成功地應用于許多逐像素預測的圖像任務中，如語義分割、圖像深度估計以及本文中所研究的圖像超分辨等。受此啟發，Dosovitskiy等人開創性的提出將卷積神經網絡用于運動估計問題之中，具體來說就是他們將圖像幀間的運動估計問題建模為一個使用卷積神經網絡進行逐像素光流值預測的監督學習問題，在給定一個包含大量圖像對以及它們之間真實光流信息的數據集后，訓練出一個網絡直接對圖像x-y方向上的光流進行預測。依照這一思想，作者提出了FlowNet算法即基于卷積網絡的光流估計算法，該算法將兩張輸入圖像進行堆疊并送入一個設計好的網絡之中，讓網絡自行學習如何處理圖像對以提取它們之間的運動信息。