[發(fā)明專(zhuān)利]一種大范圍多視傾斜影像連接點(diǎn)快速精確匹配方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011597467.0
• 申請(qǐng)日: 2020-12-29
• 公開(kāi)（公告）號(hào): CN112598740B
• 公開(kāi)（公告）日: 2022-04-15
• 發(fā)明（設(shè)計(jì)）人: 明洋;楊淑芬;常青;曾聰;王刊生;張霄;鄭亮
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中交第二公路勘察設(shè)計(jì)研究院有限公司
• 主分類(lèi)號(hào): G06T7/73
• 分類(lèi)號(hào): G06T7/73
• 代理公司: 武漢宇晨專(zhuān)利事務(wù)所(普通合伙) 42001
• 代理人: 陳曉寧;王敏鋒

1.一種大范圍多視傾斜影像連接點(diǎn)快速精確匹配方法，其特征在于，包括下述步驟：

步驟1、下視影像外方位角元素精化：

選取下視影像進(jìn)行自由網(wǎng)平差處理，利用影像間同名光線對(duì)相交的幾何約束條件，恢復(fù)影像間準(zhǔn)確的相對(duì)位置關(guān)系，從而計(jì)算下視相機(jī)的安置角系統(tǒng)誤差；利用解算出的安置角系統(tǒng)誤差，對(duì)整個(gè)測(cè)區(qū)下視影像的外方位角元素進(jìn)行改正；

步驟2、下視影像連接點(diǎn)匹配：

下視影像連接點(diǎn)匹配包括數(shù)據(jù)準(zhǔn)備、基于分塊策略和松弛迭代法的特征點(diǎn)匹配；

步驟2.1、數(shù)據(jù)準(zhǔn)備：首先，對(duì)所有下視影像構(gòu)造影像金字塔，對(duì)每張下視影像，根據(jù)影像外方位元素和測(cè)區(qū)平均高程，計(jì)算影像四個(gè)角點(diǎn)投影到測(cè)區(qū)平均高程面上的物方坐標(biāo)，確定影像覆蓋范圍，根據(jù)影像覆蓋范圍，構(gòu)建下視影像重疊關(guān)系列表；

(1)下視影像金字塔生成：

用3×3像元平均法，對(duì)每一張下視影像生成金字塔影像，原始影像層作為第0層金字塔影像，影像金字塔層數(shù)一共4層；

(2)下視影像重疊關(guān)系列表建立：

利用下視影像外方位元素和測(cè)區(qū)平均高程，根據(jù)共線條件方程計(jì)算影像四個(gè)角點(diǎn)在測(cè)區(qū)平均高程面上投影的物方坐標(biāo)：

式中，(X,Y,Z)表示下視影像某角點(diǎn)的物方坐標(biāo)；(x,y)表示下視影像某角點(diǎn)的像點(diǎn)坐標(biāo)；f表示下視影像對(duì)應(yīng)的焦距；X_s,Y_s,Z_s,ω,κ表示下視影像的外方位元素；R表示由下視影像外方位元素計(jì)算的旋轉(zhuǎn)矩陣；a_i,b_i,c_i， i＝1,2,3， 表示3×3旋轉(zhuǎn)矩陣R的各個(gè)參數(shù)值；根據(jù)下視影像角點(diǎn)的物方坐標(biāo)，計(jì)算下視影像間的重疊度，當(dāng)重疊度大于20％時(shí)，建立其重疊關(guān)聯(lián)關(guān)系；

步驟2.2、基于分塊策略和松弛迭代法的特征點(diǎn)匹配：

基于分塊策略和松弛迭代法的特征點(diǎn)匹配包括基于分塊策略的特征點(diǎn)提取、基于相關(guān)系數(shù)法的同名點(diǎn)候選點(diǎn)匹配和基于子區(qū)的松弛迭代法特征點(diǎn)匹配；

(1)基于分塊策略的特征點(diǎn)提取：

采用特征點(diǎn)分塊提取策略，在影像重疊區(qū)域內(nèi)按特定型式均勻分布一定大小的影像特征提取塊，在每個(gè)影像特征提取塊中劃分格網(wǎng)，在每個(gè)格網(wǎng)單元中用Harris算子提取特征點(diǎn)，每個(gè)影像特征提取塊視為子區(qū)；

(2)基于相關(guān)系數(shù)法的同名點(diǎn)候選點(diǎn)匹配：

對(duì)子區(qū)中每個(gè)特征點(diǎn)，利用下視影像外方位元素以及下視影像重疊關(guān)系列表，計(jì)算待匹配特征點(diǎn)在重疊影像上對(duì)應(yīng)同名點(diǎn)的初始位置，并利用相關(guān)系數(shù)法尋找匹配候選點(diǎn)，具體如下：

利用所建立的核線幾何約束方程，對(duì)搜索窗口影像的每個(gè)像素遍歷，首先計(jì)算該像素到核線方程的距離，當(dāng)小于給定的閾值時(shí)，以其為中心開(kāi)辟匹配窗口；當(dāng)幾何變形超過(guò)指定閾值時(shí)，利用匹配窗口角點(diǎn)的投影物方坐標(biāo)計(jì)算仿射變形系數(shù)，進(jìn)行匹配窗口影像的幾何粗糾正；然后，利用歸一化相關(guān)系數(shù)測(cè)度，計(jì)算待匹配特征點(diǎn)與搜索窗口中各像素的相似度，對(duì)搜索窗口各像素的歸一化相關(guān)系數(shù)測(cè)度值，采用非極大抑制算法提取局部最大值，歸一化相關(guān)系數(shù)測(cè)度局部最大值大于指定閾值所對(duì)應(yīng)的像素即為匹配候選點(diǎn)；當(dāng)有多個(gè)匹配候選點(diǎn)時(shí)，對(duì)匹配候選點(diǎn)按歸一化相關(guān)系數(shù)測(cè)度值進(jìn)行大小排序，并計(jì)算次大相關(guān)系數(shù)與最大相關(guān)系數(shù)的比值，如果小于指定閾值，則直接選擇最大相關(guān)系數(shù)對(duì)應(yīng)的候選點(diǎn)為唯一候選點(diǎn)；否則，取全部候選點(diǎn)，且候選點(diǎn)個(gè)數(shù)大于5個(gè)時(shí)，取前5個(gè)；最后，將特征點(diǎn)匹配候選點(diǎn)的結(jié)果按照子區(qū)為單元進(jìn)行數(shù)據(jù)組織；

(3)基于子區(qū)的松弛迭代法特征點(diǎn)匹配：

以子區(qū)為單位，逐一進(jìn)行松弛迭代法匹配，設(shè)I_i是某待匹配影像上的一個(gè)特征點(diǎn)，假設(shè)在某搜索影像上利用相關(guān)系數(shù)法匹配共找到m個(gè)候選點(diǎn)I_j， j＝1,2,…,m，對(duì)應(yīng)的相關(guān)系數(shù)為ρ_j， j＝1,2,…,m，則I_i←I_j的匹配概率P(i,j)計(jì)算公式為：

式(2)中，ρ_q表示特征點(diǎn)I_i和其候選點(diǎn)I_q的相關(guān)系數(shù)，在每個(gè)特征點(diǎn)的匹配候選生成后，按8鄰域進(jìn)行松弛迭代，設(shè)I_k是I_i的一個(gè)鄰域點(diǎn)，I_l， l＝1,2,…,t， 是其對(duì)應(yīng)的匹配候選點(diǎn)，則可定義如下的相容系數(shù)來(lái)描敘匹配I_i←I_j與鄰域匹配I_k←I_l的相容性：

式(3)中，C表示相容系數(shù)，衡量?jī)蓚€(gè)事件之間的相容性，即C(i,j；k,l)表示匹配I_i←I_j與鄰域匹配I_k←I_l的兼容尺度，Δp_x＝(x_j-x_l)-(x_l-x_k)為I_i與I_k的x向視差，Δp_y＝(y_j-y_l)-(y_l-y_k)為I_i與I_k的y向視差；T,β為常數(shù)，分別取1和25；

計(jì)算迭代過(guò)程中每個(gè)特征點(diǎn)的候選匹配點(diǎn)在對(duì)應(yīng)8鄰域獲得的支持，Q⁽ⁿ⁾(i,j)表示第n次迭代過(guò)程中I_i←I_j匹配的鄰域支持，其計(jì)算公式為：

式(4)中，m表示I_i的匹配候選點(diǎn)數(shù)量；p⁽ⁿ⁾(i,j)表示第n次迭代修正后I_i←I_j的匹配概率；Ω(I_i)表示點(diǎn)I_i的8鄰域，I_k是I_i的一個(gè)鄰域點(diǎn),c₀,c₁為松弛系數(shù)，C(i,j；k,l)表示匹配I_i←I_j與鄰域匹配I_k←I_l的兼容尺度,p⁽ⁿ⁾(k,l)表示第n次迭代修正后I_k←I_l的匹配概率；結(jié)合領(lǐng)域支持，按下面的規(guī)則實(shí)現(xiàn)其概率的更新，第n+1次迭代修正后I_i←I_j的匹配概率P⁽ⁿ⁺¹⁾(i,j)計(jì)算公式為：

式(5)中，m表示I_i的匹配候選點(diǎn)數(shù)量；p⁽ⁿ⁾(i,j)表示第n次迭代修正后I_i←I_j的匹配概率；Q⁽ⁿ⁾(i,j)表示在第n次迭代過(guò)程中I_i←I_j匹配從鄰域獲得的支持；I_s表示I_i的匹配候選點(diǎn)；p⁽ⁿ⁾(i,s)表示第n次迭代修正后I_i←I_s的匹配概率，Q⁽ⁿ⁾(i,s)表示在第n次迭代過(guò)程中I_i←I_s匹配從鄰域獲得的支持；當(dāng)滿(mǎn)足對(duì)所有特征點(diǎn)都存在一個(gè)匹配概率大于0.9的匹配候選或達(dá)到最大迭代次數(shù)時(shí)，終止迭代；此時(shí)，具有最大匹配概率的匹配候選點(diǎn)就被認(rèn)為是該特征點(diǎn)真正的同名點(diǎn)；

對(duì)每個(gè)子區(qū)逐一處理，完成當(dāng)前金字塔影像層特征點(diǎn)的匹配，基于五點(diǎn)法相對(duì)定向模型，使用RANSAC算法，剔除殘差較大的同名像點(diǎn)，從最高層金字塔影像，利用上層匹配結(jié)果約束下層金字塔影像匹配，重復(fù)步驟2.2中的(2)和(3)，直到原始影像層，完成下視影像連接點(diǎn)匹配；

步驟3、下視影像區(qū)域網(wǎng)平差：

利用步驟2獲取的下視影像連接點(diǎn)坐標(biāo)，以及下視影像外方位線元素，進(jìn)行區(qū)域網(wǎng)平差，計(jì)算精化后的下視影像外方位元素以及所有連接點(diǎn)對(duì)應(yīng)的物方坐標(biāo)；

步驟4、斜視影像外方位元素概略計(jì)算：

根據(jù)傾斜相機(jī)系統(tǒng)提供的斜視相機(jī)和下視相機(jī)的連接參數(shù)，結(jié)合步驟3中獲取的下視影像精確外方位元素，計(jì)算出傾斜相機(jī)系統(tǒng)中前視、后視、左視、右視四個(gè)斜視相機(jī)的影像外方位元素；

步驟5、下視影像連接點(diǎn)在斜視影像上的轉(zhuǎn)點(diǎn)匹配：

利用步驟3所獲得的下視影像連接點(diǎn)對(duì)應(yīng)的物方坐標(biāo)，以及步驟4中所獲得的傾斜影像外方位元素，直接利用共線條件方程，計(jì)算下視影像各連接點(diǎn)在與之重疊斜視影像上的像點(diǎn)坐標(biāo)，獲取下視影像連接點(diǎn)在斜視影像同名點(diǎn)的初始位置；然后，基于相關(guān)系數(shù)法的尋找同名點(diǎn)，與步驟2.2(2)所不同的是，不再尋找和保留多個(gè)候選點(diǎn)，而是取搜索窗口中具有最大相關(guān)系數(shù)測(cè)度且大于指定閾值的像素為匹配同名點(diǎn)，對(duì)每個(gè)下視影像連接點(diǎn)采用上述方法尋找同名點(diǎn)，從而獲得其在斜視影像上的像點(diǎn)坐標(biāo)；

步驟6、顧及傾斜影像幾何約束的多視物方匹配：

步驟6.1、下視影像與斜視影像聯(lián)合平差：

利用步驟2和步驟5所獲得的下視影像連接點(diǎn)在下視影像和斜視影像的像點(diǎn)坐標(biāo)，步驟3所獲得的下視影像外方位元素和步驟4所獲得斜視影像外方位元素，進(jìn)行顧及傾斜影像幾何約束的聯(lián)合區(qū)域網(wǎng)平差，聯(lián)合區(qū)域網(wǎng)平差對(duì)所有影像的外方位元素和特征點(diǎn)物方坐標(biāo)進(jìn)行優(yōu)化，其誤差方程為：

式中(6)中，X₁表示步驟3中各個(gè)下視影像的六個(gè)外方位元素改正數(shù)；X₂表示步驟4中四個(gè)斜視相機(jī)與下視相機(jī)間剛性連接參數(shù)的24個(gè)元素的改正數(shù)，即四個(gè)斜視相機(jī)相對(duì)下視相機(jī)外方位元素差值的改正數(shù)；X₃表示步驟5中所有存在同名點(diǎn)的下視影像連接點(diǎn)的物方坐標(biāo)的改正數(shù)；E表示單位矩陣；V₁，V₂，V₃表示各誤差方程對(duì)應(yīng)的改正數(shù)；A₁,A₂,A₃分別表示對(duì)應(yīng)系數(shù)矩陣；L₁,L₂,L₃表示相應(yīng)誤差方程的常數(shù)項(xiàng)；通過(guò)聯(lián)合平差，進(jìn)一步精化下視影像和斜視影像的外方位元素；

步驟6.2、基于多視物方匹配的連接點(diǎn)像點(diǎn)坐標(biāo)精化：

利用帶共線條件約束的多片最小二乘匹配算法對(duì)連接點(diǎn)坐標(biāo)進(jìn)行精化，在每張影像的標(biāo)準(zhǔn)點(diǎn)位附近提取一定數(shù)量的特征點(diǎn)，然后采用MPGC策略對(duì)這些特征點(diǎn)的匹配結(jié)果進(jìn)行優(yōu)化。