[發明專利]基于深度學習和人工設計特征相結合的多源圖像配準方法

有效

• 申請號: 201810754359.6
• 申請日: 2018-07-11
• 公開（公告）號: CN109064502B
• 公開（公告）日: 2021-10-22
• 發明（設計）人: 張秀偉;張艷寧;齊予海;田牧;金嬌嬌;陳妍佳;李飛
• 申請（專利權）人: 西北工業大學
• 主分類號: G06T7/33
• 分類號: G06T7/33;G06N3/04
• 代理公司: 西北工業大學專利中心 61204
• 代理人: 常威威

1.一種基于深度學習和人工設計特征相結合的多源圖像配準方法，其特征在于步驟如下：

步驟1：輸入多源圖像對，分別記為基準圖像和待配準圖像，采用傳統人工設計特征點提取和匹配方法，分別對輸入圖像進行特征點提取和匹配，得到初步的特征點集P和P′，其中，P＝{p₁,…,p_N}是基準圖像的特征點集合，P′＝{p′₁,…,p′_N}是待配準圖像的特征點集合，兩個集合中相同下標的兩個元素p_i和p_i′為一對匹配點，i＝1,…,N，N為集合P中的特征點個數；

步驟2：采用改進的加權圖變換算法去除錯誤匹配點對，具體為：

步驟2.1：以集合P中的特征點為頂點，當點p_i是點p_j的鄰接特征點時，則有一條無向邊(p_i,p_j)連接點p_i和p_j，同時令鄰接矩陣A中的元素A(i,j)＝1；否則，點p_i和點p_j之間不存在無向邊，并令鄰接矩陣A中的元素A(i,j)＝0，其中，i＝1,…,N，j＝1,…,N，所有連接鄰接特征點之間的無向邊共同構成邊的集合F_P；所述的鄰接特征點需要滿足條件：||p_i-p_j||≤η，η為閾值，Rmedian(·)表示取迭代中位數，p_m和p_n表示集合P中的任意特征點，||p_i-p_j||表示點p_i和點p_j空間上的歐式距離或馬氏距離；

對集合P′按此步驟上述過程構造得到其鄰接矩陣A′和邊的集合F_P′；

如果集合P中某個特征點上與之相連的無向邊個數少于2，則從集合P中刪除該特征點，并從集合F_P中刪除該特征點上的無向邊，同時，對應從集合P′中刪除與該特征點匹配的點，以及集合F_P′中與該特征點匹配的點上的無向邊；如果集合P′中某個特征點上與之相連的無向邊個數少于2，則從集合P′中刪除該特征點，并從集合F_P′中刪除該特征點上的無向邊，同時，對應從集合P中刪除與該特征點匹配的點，以及集合F_P中與該特征點匹配的點上的無向邊；此時，集合P中剩余特征點構成集合V_p＝{v₁,…,v_n}，集合P′中剩余特征點構成集合V_p′＝{v₁′,…,v_n′}，n為集合P中剩余特征點的個數，集合F_P中剩余邊構成集合E_P，集合F_P′中剩余邊構成集合E_P′，集合V_p中的點及其點之間的無向邊共同構成中值K鄰近圖G_p＝(V_p,E_p)，集合V_p′中的點及其點之間的無向邊共同構成中值K鄰近圖G_p′＝(V_p′,E_p′)；

步驟2.2：構造得到權重矩陣W，如果集合V_p中特征點v_i和v_j之間沒有無向邊，則W(i,j)＝0，否則：

其中，W(i,j)表示集合V_p中連接特征點v_i和特征點v_j的無向邊的權值，v_i和v_j為集合V_p中的點，v_i′和v_j′為集合V_p′中的點，表示特征點v_i在圖像上的坐標向量，表示特征點v_j在圖像上的坐標向量，表示特征點在圖像上的坐標向量，表示特征點v_i′在圖像上的坐標向量，表示特征點v_j′在圖像上的坐標向量，i＝1,…,n，j＝1,…,n；Rot(·)表示轉向率，θ(·)表示求取兩個向量間的夾角，其計算公式分別如下：

其中，對于任意的坐標向量

其中，υ_y，υ_x分別表示向量在x方向和y方向的坐標值；

其中，(v_i,v_K)表示集合E_P中連接點v_i和v_K的無向邊，(v_i,v_j)表示集合E_P中連接點v_i和v_j的無向邊；

然后，對于集合V_p和V_p′中的對應匹配的點對v_i和v_i′，如果v_i′上的無向邊的個數與v_i上的無向邊的個數的比值小于0.5，則將權重矩陣W中所有不對應的邊的權值W(i,l)設為π，所述的不對應的邊，是指(v_i′,v_l′)屬于E_P′，但(v_i,v_l)不屬于E_P的邊，i＝1,…,n，l＝1,…,n；

步驟2.3：對V_p中的每個特征點v_i，i＝1,…,n，按照下式計算其權重：

其中，M為特征點v_i上的無向邊的個數，median(·)表示取中位數；

找到所有特征點的權重最大值ω_max，并從集合V_p中刪除權重最大值ω_max對應的特征點，同時從集合V_p′中刪除與該特征點匹配的點；

然后，計算剩余所有特征點權重的均值μ，如果ω_max＜π且|μ-μ_old|＜ε，則此時的特征點集合V_p和V_p′即為最終的特征點集合；否則，令μ_old＝μ，以此時的特征點集合V_p和V_p′作為初始特征點集合P和P′，返回步驟2.1；其中，μ_old的初始值為2π，閾值ε＝0.001；

步驟3：以步驟2得到的最終特征點集合V_p和V_p′為基礎，首先，計算兩個集合中各匹配特征點對v_i和v_i′的尺度比值，并計算所有尺度比值的平均值作為相似尺度值，其中，i＝1,…,n1，n1為特征點集合V_p中最終剩余的特征點個數；然后，將待配準圖像變換到基準圖像的這個相似尺度上，并分別以各個特征點的坐標為中心分別在基準圖像和待配準圖像中截取65×65大小的匹配圖像塊，所有匹配圖像塊構成匹配圖像塊數據集；

步驟4：構建多源圖像塊相似性度量深度卷積網絡模型，該網絡包括2層卷積層、2層池化層和3層全連接層，具體網絡結構為：第1個卷積層使用32個大小為3×3×3的卷積核來進行卷積，得到的結果通過非線性激活函數RELU后送入第1個池化層；第1個池化層的池化核的大小為2×2，采用最大池化方法，池化的步長為2，得到結果送入第2個卷積層；第2個卷積層使用64個大小為3×3×3的卷積核來進行卷積，得到結果通過非線性激活函數RELU函數送入第2個池化層；第2個池化層與第1個池化層參數相同，得到結果送入第1個全連接層；在進入第1個全連接層前將第2個池化層輸出的數據變為一維向量，經過第1個全連接層輸出節點數量變為500，并送入第2個全連接層中；數據經過第2個全連接層輸出節點數量變為10并送入第3個全連接層中；數據經過第3個全連接層輸出一個一維向量，節點數為2；網絡的損失函數采用對比損失函數，由正例部分和反例部分組成；

步驟5：將多源圖像匹配數據集的訓練集數據輸入到步驟4得到的多源圖像塊相似性度量深度卷積網絡，采用Adam優化方法對網絡進行迭代訓練，得到預訓練網絡模型；

所述的多源圖像匹配數據集按如下方法構建得到：給定已有的已逐像素空間對齊后的多源圖像數據集，在兩幅匹配圖像中分別以同一特征點空間坐標為中心截取65×65的圖像塊，得到匹配圖像塊，并設其標簽為0，記為正樣本；在兩幅匹配圖像中分別以任意不同空間坐標為中心截取65×65的圖像塊，得到不匹配圖像塊，并設其標簽為1，記為負樣本；所有正負樣本共同構成多源圖像匹配數據集，其中，每組數據包含兩個圖像塊和一個標簽；多源圖像匹配數據集中的數據按照3:1:1的比例劃分為訓練集、測試集和驗證集；

步驟6：將多源圖像匹配數據集的測試集數據中的所有樣本標簽均設置為0，并輸入到步驟5得到的預訓練網絡模型，每組測試數據得到一個網絡輸出損失值，以能夠最大程度將測試數據集中的正負樣本分開的損失值為閾值T；

步驟7：將多源圖像塊相似性度量深度卷積網絡模型中除了全連接層外的所有其他層均固定使用步驟5得到的預訓練模型中的參數，并以步驟3得到的匹配圖像塊數據集為輸入，采用Adam優化方法對網絡模型進行訓練，訓練時僅對全連接層的參數進行迭代優化，得到最終的網絡模型；

步驟8：以步驟1中的特征點集合P和P′為基礎，首先，計算兩個集合中各匹配特征點對p_i和p_i′的尺度比值，并計算所有尺度比值的平均值作為相似尺度值，其中，i＝1,…,N；然后，將待配準圖像變換到基準圖像的這個相似尺度上，并分別以各個特征點的坐標為中心在基準圖像和待匹配圖像中截取65×65大小的對應圖像塊，將這些對應圖像塊分別輸入到步驟7得到的最終的網絡模型中，如果得到的網絡輸出損失值小于閾值T，則輸入的對應圖像塊對即為一對匹配的圖像塊，圖像塊的中心點坐標即為一對匹配的點對；利用所有匹配點對的坐標，使用最小二乘法計算得到變換矩陣H，利用變換矩陣H將待配準圖像變換到基準圖像坐標系下，完成圖像配準。