[發明專利]一種基于深度學習的立體圖像修復方法

在審

• 申請號: 201910971537.5
• 申請日: 2019-10-12
• 公開（公告）號: CN110766623A
• 公開（公告）日: 2020-02-07
• 發明（設計）人: 馬偉;鄭瑪娜
• 申請（專利權）人: 北京工業大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/50;G06T15/00
• 代理公司: 11203 北京思海天達知識產權代理有限公司
• 代理人: 張慧

本發明涉及一種基于深度學習的立體圖像修復方法，核心為一個基于局部自適應和視覺一致性的深度神經網絡模型。該模型由編碼器和解碼器模塊、融合模塊、鑒別器模塊和視差模塊組成。本發明對于左右視圖而言能夠修復任意大小任意位置的區域，有效地提升應用價值，增強圖像修復的普適性。與現有技術相比，本發明具有以下優點：1)依據兩幅視圖的特征圖相互補充來融合彼此可以借鑒的部分，不僅能夠參考本視圖殘存區域的特征還能夠借鑒另一幅視圖的內容。同時，利用視差線索約束立體圖像對的立體一致性，不會造成眩暈感；2)修復完成的立體圖像對在紋理和細節方面更加逼真，更加符合人眼視覺感知。

技術領域

本發明屬于數字圖像處理、計算機視覺等交叉領域，涉及一種基于深度學習的立體圖像修復方法。

背景技術

近年來，數字圖像處理和計算機視覺領域內技術的快速發展帶動了這些技術在其他領域的應用，這些應用又反向促使技術不斷革新。立體圖像修復就是在這樣的環境下產生的課題。立體圖像修復即修復去除前景后留在立體圖像上的空洞或者補全由于傳輸過程中造成的缺損。該技術主要通過圖像已有的信息，根據顏色、紋理、視差等線索按照一定的算法對待填補的未知區域進行修復，使填補后的圖像在深度感知和視覺效應上具有較好的效果。

近年來，深度學習因其強大的特征學習能力、圖像分析和理解能力受到廣泛關注。眾多研究者嘗試將其引入圖像生成任務中，提出了一系列基于深度學習的單幅圖像修復方法。例如，Pathak等人于2016年在Computer Vision and Pattern Recognition國際會議上提出的“Context encoders:Feature learning by inpainting”，通過卷積神經網絡對圖像缺失部分進行特征的編碼解碼，全局鑒別器鑒別修復圖像整張圖的真假。Iizuka等人于2017年在Special Interest Group for Computer Graphics and InteractiveTechniques國際會議上提出了Globally and locally consistent image completion,充分利用生成對抗網絡架構來完成單幅圖像的補全，除了考察圖像整體的一致性外還多增加了一個局部鑒別器用來增強圖像的局部一致性。缺點是生成的部分內容模糊，顏色有些失真，需要費時的后處理操作：圖像融合。目前針對于立體圖像修復的研究相比于單幅圖像來說相對較少。立體圖像公共數據集如Menze等人于2015年在ISAPRS Workshop on ImageSequence Analysis上發表的“Joint 3d estimation of vehicles and scene flow”，KITTI 2015數據集，提供400對立體圖像對，其中200對訓練集圖像，200對測試集圖像。可使用現有的較為成熟單幅圖像填補的方法單獨對立體圖像左右圖進行填補，可以在單目視覺上得到好的效果。但是使用這種方法由于無法保證在填補區域中左右視圖的一致性，從而無法保證填補后的立體圖像在深度感知上的效果。利用視差線索監督立體圖像對可以有效提升左右視圖的立體一致性，Chang等人于2016年在Computer Vision and PatternRecognition國際會議上提出的Pyramid Stereo Matching Network(PSMNet)，這一主要由金字塔池化和三維卷積神經網絡組成的金字塔立體匹配網絡可以求取立體圖像對的視差圖。在一個視圖中的內容丟失但存在于另一個視圖中的這種情況下使用單幅圖像填補的處理方式，由于無法獲取相對視圖的信息，從而明顯影響填補效果、影響3d場景體驗。

發明內容

鑒于目前立體圖像修復方法存在局限性，本發明提出一種基于深度學習的立體圖像修復方法，對于左右視圖而言能夠修復任意大小任意位置的區域，有效地提升應用價值，增強圖像修復的普適性。

為了實現上述目標，本發明提出一種基于深度學習的立體圖像修復方法，包括以下模塊：

模塊一、編碼器和解碼器模塊。給定一對立體圖像，通過編碼器和解碼器模塊得到相應特征矩陣。