[發明專利]一種基于直線特征匹配及約束的圖像拼接方法

在審

• 申請號: 202110263577.1
• 申請日: 2021-03-11
• 公開（公告）號: CN112967217A
• 公開（公告）日: 2021-06-15
• 發明（設計）人: 賈棋;樊鑫;羅鐘鉉;劉宇;趙浩天;藤世宇;王祎;徐秀娟
• 申請（專利權）人: 大連理工大學
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06K9/62;G06K9/46
• 代理公司: 大連大工智訊專利代理事務所(特殊普通合伙) 21244
• 代理人: 崔雪

1.一種基于直線特征匹配及約束的圖像拼接方法，其特征在于，包括以下過程：

步驟100，將兩幅圖像劃分為目標圖像和參考圖像，利用SURF方法提取并匹配兩幅圖像中的特征點，利用RANSAC方法篩選正確的匹配點，利用LSD方法提取兩幅圖像中的直線；

步驟200，利用點線不變量匹配兩幅圖像中的直線，然后根據幾何映射關系尋找匹配直線對應的鄰域內的特征點以增加特征點的數量，最后使用RANSAC方法篩選正確的匹配特征點對，具體過程如下：

步驟201，從步驟100輸出的直線中，根據直線的長度為每條直線劃分鄰域，然后計算目標圖像直線和參考圖像直線對應的左鄰域和右鄰域的相似度，根據鄰域相似度得到最終的匹配直線集；

步驟202，從步驟201輸出的匹配直線中，對每一對匹配直線，分別在其左鄰域和右鄰域內取匹配特征點，根據匹配特征點構造三角形特征數，將特征三角形上對應位置的點作為特征點對，以此獲得更多的匹配點，最后使用RANSAC方法篩選正確的匹配特征點；

步驟300，利用步驟200獲得的所有匹配特征點和匹配直線，估計目標圖像和參考圖像之間的單應矩陣H；

步驟400，為目標圖像劃分均勻網格，構造能量函數的約束項，通過最小化能量函數計算扭曲網格的頂點坐標；所述約束項包括點線對齊項、畸變抑制項、局部及全局直線保護項；

步驟401，構建目標圖像的均勻網格；

步驟402，從步驟201輸出的匹配直線、從步驟202輸出的匹配點，構造點線對齊項；從步驟300輸出的全局單應矩陣H，估計目標圖像的旋轉角，在目標圖像上劃分等距水平直線簇和垂直直線簇，在非重疊區和重疊區構造畸變抑制項；

步驟403，從步驟100輸出的目標圖像中的特征直線，其中部分直線若滿足重構條件則將其進行合并，最終根據直線長度將其劃分為局部直線和全局直線，據此構造顯著直線保護項；

步驟404，通過最小化能量函數計算扭曲網格的頂點坐標；

步驟500，將扭曲的目標圖像與參考圖像融合，形成最終的拼接圖像。

2.根據權利要求1所述的一種基于直線特征匹配及約束的圖像拼接方法，其特征在于，在步驟201中，計算目標圖像直線和參考圖像直線對應的左鄰域和右鄰域的鄰域相似度，具體包括：

記從步驟100輸出的目標圖像中的直線集為參考圖像中的直線集為在所有和中直線上選取兩個關鍵點，記某直線l的關鍵點分別為和根據直線長度為每條直線劃分左鄰域和右鄰域，在目標圖像和參考圖像中，任取一對左鄰域或右鄰域，若該對鄰域中含有4對以下匹配點，則認為鄰域間相似度為0；若該對鄰域中含有5對以上匹配點，則由下列公式計算鄰域間的相似度：

設兩鄰域對應的直線為l和l′，其關鍵點分別為和對于鄰域內的匹配點集{P_i}_{i＝1，2，...，N}和{P′_i}_{i＝1，2，...，N}，選定一對點為基點記作P₁和P′₁，從剩余的匹配點中隨機選取兩對點記作P₂和P′₂、P₃和P′₃，每對基點共有N種選法，選定基點后對于兩對隨機點共有種選法；計算鄰域中每對基點的相似度，然后通過N組基點計算鄰域的相似度；記為點P_i和P_j連接形成的直線、為直線和的交點，則可以用匹配點和計算用于構造三角形特征數的點{V，P₁，M，N，P₃，W}的坐標信息：

并按照上述方法構造{V′，P′₁，M′，N′，P′₃，W′}；其中，點T為構造三角形特征數的過程點；上述五對點構建的三角形特征數，記作CN_i(r)和CN′_i(r)，

一組三角形特征數的相似度為：

基點P_i和P′_i的相似度用組三角形特征數的相似度的中值計算：

該鄰域的相似度用N組基點的相似度的最大值計算：

S＝max{S(P_i，P_i)}，i＝1，2，...，N；

對于兩條直線，若其左右鄰域的相似度均互為所有直線中的最大值，則認為這兩條直線匹配。