[發明專利]一種高分辨率城市衛星立體圖像的視差圖計算方法

有效

• 申請號: 202011285209.9
• 申請日: 2020-11-17
• 公開（公告）號: CN112435267B
• 公開（公告）日: 2023-03-17
• 發明（設計）人: 門朝光;趙禮;李晗;李金龍;薛嘉明
• 申請（專利權）人: 哈爾濱工程大學
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T7/50;H04N13/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明屬于高分辨率衛星影像三維重建技術領域，具體涉及一種高分辨率城市衛星立體圖像的視差圖計算方法。本發明解決了現有衛星影像稠密立體匹配方法在遮擋區域出現匹配漏洞以及在視差不連續區域出現誤匹配的問題。本發明在Census代價和Patch代價加權和的基礎上引入對于紋理特征敏感的PHOW特征計算衛星圖像的匹配代價，提高了光照變化區域、弱紋理區域和建筑物犄角等區域的匹配代價的描述能力。本發明將匹配代價優化問題轉化為區域標記問題，通過區域邊界和區域模型來約束區域內匹配代價的優化，能夠定位深度不連續的視差斷層區域，填補視差圖中的空洞，區域邊界和模型是動態更新的，有效地提高了區域邊界和區域模型的準確性。

技術領域

本發明屬于高分辨率衛星影像三維重建技術領域，具體涉及一種高分辨率城市衛星立體圖像的視差圖計算方法。

背景技術

城市三維信息對于城市智能交通，城市智能規劃和災害防控等應用都起到了至關重要的作用，因此城市三維地理信息具有巨大的經濟價值和國防戰略意義。因此，通過高分辨率城市衛星影像進行城市三維重建的方法已經受到了很大的關注。該方法一般包括立體校正，稠密視差圖計算和三角測量三個過程。作為三維重建的核心，已經提出的適用于衛星立體圖像對的稠密視差圖構建方法大致可以分成兩類，一類是基于半全局匹配(SGM)的方法，另一類是基于區域的匹配方法。

原始半全局匹配(SGM)方法首先通過互信息熵計算匹配代價，然后利用代價聚合獲得準確的視差圖。存在利用Census變換替代互信息熵計算匹配代價的方法，進而獲得視差結果。但是Census是通過構建中心像素點與周圍像素點灰度值的大小關系來表示當前像素的特征的，利用大小關系計算不同像素之間的相似程度經常導致匹配代價喪失匹配的單一性。基于區域的匹配方法大多利用切塊匹配(Patch Match，PM)獲取匹配代價。PM計算匹配代價是以參考圖像的像素為中心開辟支撐窗口，然后在第二圖像中移位該支撐窗口將，最低代價像素點作為匹配點。但是，該過程存在隱含的假設，即支撐窗口內的所有像素具有恒定的視差，這導致支撐窗口內的其他像素視差被中心像素“歸一化”。在視差不連續區域PM方法誤差會很大。

此外，在匹配代價優化階段，動態規劃的方法被用于減少“歸一化”的影響。也有研究者利用自適應支持權重的導向濾波器法對代價量進行濾波，目的是還原深度不連續區域的真實物體邊緣。但是高分辨率城市衛星影像是衛星在高速運動條件下獲取的，因此在衛星立體圖像中存在更多傾斜的建筑，導致圖像中存在大量遮擋區域，上述兩類方法在在遮擋區域無法獲取可靠的匹配信息，因此獲取的視差圖包含很多視差空洞。同時，在大幅面的城市衛星影像中存在大量的密集的建筑，不同高度的建筑物之間、建筑物屋頂和立墻之間以及立墻與地面之間都形成了視差不連續的視差斷層。通過上述兩類方法獲得的視差圖在深度不連續的視差斷層區域都存在大量的誤差。這些視差空洞和視差不連續區域處的誤差都嚴重影響了城市三維重建的精度。

發明內容

本發明的目的在于提供能夠有效的填充遮擋區域的視差空洞，并優化視差不連續區域的視差結果，為高分辨率城市衛星影像三維重建提供準確的稠密視差結果的一種高分辨率城市衛星立體圖像的視差圖計算方法。

本發明的目的通過如下技術方案來實現：包括以下步驟：

步驟1：通過超像素分割方法將立體校正的高分辨率城市衛星立體圖像對應的參考圖像劃分成貼合實際目標輪廓的超像素區域，得到n個超像素區域集合

步驟2：使用基于PHOW特征的下采樣匹配方法在每個超像素區域內獲得分布均勻的匹配點，并利用多模型擬合的方法計算每個超像素區域對應的單應模型；

步驟3：利用三種相似性度量的聯合加權的方法計算高分辨率城市衛星立體圖像中同名點之間的匹配代價COST；

步驟4：使用雙重傳播動態模型優化方法，在超像素區域模型的約束下對原始匹配代價的進行迭代優化，實現區域模型的動態更新，以解決遮擋區域和視差不連續區域對匹配造成的影響，并通過最小化能量函數的方式獲得優化后的城市衛星立體圖像對應的視差圖；