[發明專利]基于最小生成樹的非局部的深度圖超分辨率重建方法

有效

• 申請號: 201310073230.6
• 申請日: 2013-03-07
• 公開（公告）號: CN103218776A
• 公開（公告）日: 2013-07-24
• 發明（設計）人: 楊敬鈺;張群;侯春萍
• 申請（專利權）人: 天津大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T7/00
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 劉國威

技術領域

本發明屬于計算機視覺和圖像處理領域，具體涉及一種針對低分辨率深度圖的非局部的基于最小生成樹（MST，Minimum?Spanning?Tree）的超分辨率方法，即基于最小生成樹的非局部的深度圖超分辨率重建方法。

背景技術

圖像超分辨率（Image?Super?Resolution），即通過硬件或軟件的方法提高原有圖像的分辨率，通過一系列低分辨率的圖像來得到高分辨率的圖像過程就是超分辨率重建。超分辨率重建的核心思想就是用時間帶寬(獲取同一場景的多幀圖像序列)換取空間分辨率,實現時間分辨率向空間分辨率的轉換。

提高圖像分辨率最直接的辦法就是提高采集設備傳感器的密度，然而高密度的圖像傳感器的價格相對昂貴，在一般應用中難以承受；另一方面，成像系統受其固有傳感器排列密度的限制，目前已接近極限。提高圖像分辨率的另一方法是提高芯片尺寸，但這將導致電容的增加和電荷轉移速度的下降。

一種有效提高圖像分辨率的途徑是采用基于信號處理的方法對圖像的分辨率進行提高，即超分辨率重建。它對單幅圖像或多幀圖像序列進行處理，生成高分辨率圖像。若利用一個滑動窗口對低分辨率圖像序列進行處理，則可以生成超分辨率圖像序列。超分辨率重建技術的優點是不涉及硬件，成本低，現有的圖像系統還可以使用，是一種比較經濟的方案。

現階段，國內外的很多工作都是采用對齊的高分辨率彩色圖和低分辨率深度圖結合，來對深度圖進行超分辨率重建。假設深度圖中不連續的地方對應于彩色圖中的邊緣，彩色圖中顏色一致的區域具有相似的幾何結構，采用彩色圖提供的豐富的紋理信息，能夠有效地重建深度圖紋理結構。一種方法是將超分辨率優化歸結為基于馬爾科夫場的后項概率問題，通過優化最大后項概率問題來提高分辨率；還有一類方法采用基于引導的濾波器（Guided?Image?Filtering）來實現超分辨率。聯合雙邊濾波器（Joint?Bilateral?Filter）是應用最廣泛的一種Guided?Image?Filter，在彩色紋理導圖的指引下，權值的計算不僅取決于當前像素與鄰近像素的空間位置關系，紋理導圖上對應位置像素間的強度值差異同樣會影響權重的取值，因此雙邊濾波在對圖像進行平滑的同時可以很好的保護邊緣信息。還有一種采用非局部均值濾波（Non-local?Means?Filter）來實現超分辨率的方法。非局部均值濾波在操作時會考慮非局部區域在結構上的相似性，對圖像結構的恢復比較有效。但是，現有的方法存在一個共同的問題：時間復雜度較高，很難滿足實際應用的需要，尤其是有實時性要求的應用。

發明內容

本發明旨在克服現有技術的不足，提出一種快速的非局部的基于MST的超分辨率重建方法，在降低算法時間復雜度的同時，保持重建結果的質量，在兩者之間取得很好的平衡，為此，本發明采取的技術方案是，基于最小生成樹的非局部的深度圖超分辨率重建方法，包括下列步驟：

1）采用Middlebury的數據集即成對彩色圖和深度圖作為測試數據，根據超分辨率比例對深度圖進行下采樣，得到需要進行重建的初始的低分辨率深度圖，然后對初始深度圖進行一步簡單的預處理，即采用雙三次插值（Bicubic?Interpolation）將下采樣后的深度圖放大至原來的尺寸；

2）將彩色紋理導圖看作一幅連通的無向圖G=（V,E），節點V對應于圖像中所有的像素點，邊E對應于圖像中最鄰近像素間的連線，這樣就得到了一幅標準的4連通的平面圖，設s和r是一對相鄰的節點，連接s和r的邊的權重定義如下：

ω(s,r)＝ω(r,s)＝|I(s)-I(r)|?????????(1)

ω(s,r)為連接s和r的邊的權值，I(s)和I(r)是節點對應像素的強度值；

3）由2）中的無向連通圖G，得到與之對應的MST（MST，Minimum?Spanning?Tree），在生成MST的過程中，權值較大的邊會被移除，這些邊正好對應于彩色圖中強度值變化較大的區域；

4）根據MST對預處理之后的粗糙的深度圖進行重建，在MST中，兩個節點之間的距離越小，兩者越相似，節點間距離為連接二者最短路徑的邊權的總和，節點間的相似度定義如下：

S(p,q)＝S(q,p)＝exp(-D(p,q)σ)???????(2)

p、q為MST中的節點，σ是一個常數，用來對相似度進行調整，這樣就將Joint?Bilateral?Filter擴展至最小生成樹結構，雙邊濾波在對圖像進行平滑的同時能夠有效的保護邊緣信息，在立體匹配代價聚合中得到廣泛應用，雙邊濾波的定義如下：