[發明專利]一種基于幾何一致性的圖像語義特征匹配方法

有效

• 申請號: 201911098020.6
• 申請日: 2019-11-12
• 公開（公告）號: CN110909778B
• 公開（公告）日: 2023-07-21
• 發明（設計）人: 周忠;吳威;陳朗;呂偉;李萌
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06V10/75
• 分類號: G06V10/75;G06V10/46;G06V10/764;G06V10/774
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 楊學明;鄧治平

1.一種基于幾何一致性的圖像語義特征匹配方法，其特征在于，包括如下步驟：

步驟1、語義特征提取步驟

所述語義特征提取是使用預訓練的圖像分類網絡提取圖像語義特征，并根據神經網絡的輸出構建特征金字塔，步驟具體為：

(1.1)使用預訓練的圖像分類網絡分別提取待匹配圖像的語義特征；

(1.2)針對每張輸入圖像，分別選取圖像分類網絡中若干隱藏層的特征圖輸出來構建一個五層特征金字塔；

(1.3)對每一層特征金字塔包含的語義特征進行特征顯著性量化，挑選顯著特征集合具體為使用Min-Max標準化策略對特征金字塔每一層的語義特征進行顯著性量化，構造顯著特征集合Key_Points；

步驟2、語義特征匹配初始化步驟，在步驟2的圖像語義特征匹配初始化中，使用幾何一致性構造約束項來進行特征匹配初始化，實現在特征描述子最近鄰匹配的基礎上，對特征匹配的約束規則繼續添加額外約束項，使得特征匹配時能利用更多的圖像信息；

所述特征匹配初始化是在特征金字塔的頂層，通過定義多種約束項并最小化能量函數來初始化語義匹配結果，步驟具體為：

(2.1)在特征金字塔頂層，選取步驟(1.3)確定的顯著特征集合；

(2.2)在步驟(2.1)中確定的顯著特征集合內，根據幾何一致性算法，構造包含表觀一致性約束項、朝向一致性約束項和相對距離一致性約束項的能量函數，通過最小化能量函數來求解在特征金字塔頂層的語義特征初始化結果；

步驟3、特征匹配定位優化步驟

所述特征匹配定位優化是沿著特征金字塔自頂而下，使用金字塔反向傳播算法不斷對高層的特征匹配結果進行矯正，步驟具體為：

(3.1)判斷當前特征金字塔的層級是否是最底層，若不是，則繼續，否則退出；

(3.2)根據上一層的特征匹配結果，計算對應特征在當前層的感知野范圍，確定當前層的特征匹配塊結果；

(3.3)以步驟(3.2)中確定的特征匹配塊為單位，使用顏色空間均勻化策略對特征匹配塊進行預處理，緩解顏色、梯度差異對語義匹配的影響；

(3.4)基于步驟(3.3)中處理完成后的特征匹配塊，使用互近鄰搜索算法，獲取定位更加精確的特征匹配對；

(3.5)使用RANSAC算法對特征金字塔當前層級的語義特征匹配結果進行過濾，剔除誤匹配，通過顯著特征集合剔除非顯著性特征匹配，然后沿著金字塔向下滑動一級，重復步驟(3.1)、(3.2)、(3.3)、(3.4)、(3.5)；

步驟4、圖像語義對齊步驟，在步驟4圖像語義對齊中，步驟(4.3)根據圖像局部區域的個性化特點，考慮網格與所有特征匹配對之間的位置關系，為不同區域塊估計出不同的幾何變換模型，有利于緩解圖像變形過程中的失真、畸變現像；

所述圖像語義對齊是根據語義特征匹配的結果，估計待匹配圖像間的局部幾何變換模型參數，進行圖像變形，步驟具體為：

(4.1)對源圖像進行均勻網格劃分；

(4.2)量化源圖像中每一個網格中心點與所有特征匹配對之間的位置關系，并根據位置關系，給予不同特征匹配對相應的權重系數，權重系數代表對應的特征匹配對對求解當前網格的幾何模型參數的影響程度；

(4.3)順序遍歷每一個網格，根據步驟(4.2)中確定的當前網格中心點與所有特征匹配對之間的權重關系，構造能量函數，迭代計算、更新當前網格的幾何變換模型參數；

(4.4)使用步驟(4.3)中的幾何變換模型參數對源圖像進行變形，將源圖像投影變換到目標圖像所在的坐標空間內，實現源圖像、目標圖像間的圖像語義對齊，使得二者內前景目標的幾何姿態、朝向趨向于一致；

特征匹配初始化時，在特征金字塔頂層構造了包含表觀一致性、朝向一致性、相對距離一致性的能量函數，該能量函數如下面公式所述：

E(V)＝E_S(V)+λ_DE_D(V)+λ_OE_O(V)

其中λ_D、λ_O為常量權重系數，V為待求解的特征匹配初始化結果，E_S(V)為表觀一致性約束項、E_D(V)為相對距離一致性約束項、E_O(V)為朝向一致性約束項；

所述表觀一致性約束項E_S(V)是針對任意單對語義特征匹配對設定的，用于衡量圖像特征信息之間的相似性，量化方式為顯著特征描述子之間的余弦相似性，E_S(V)定義為：

其中σ_S為常量因子，(p，q)為一對特征匹配對，sim()即為余弦相似性度量函數，用于度量特征描述子之間的相似性，分別為待匹配圖像在特征金字塔頂層的顯著特征集合；所述相對距離一致性約束項E_D(V)，采用不同顯著特征之間的相對距離關系為特征匹配提供有效的約束信息，該約束項E_D(V)定義為：

其中，σ_D為常量因子，(p，q)，(p′，q′)為二對特征匹配對，d(·)表示特征點之間的相對位置，采用歐式距離進行量化處理；相對距離一致性約束項衡量圖像中顯著特征點之間相對位置的差異，相對位置誤差越小，正匹配的可能性越大；

所述朝向一致性約束項E_O(V)采用不同顯著特征之間的相對朝向為特征匹配提供有效的約束信息，朝向一致性約束項E_O(V)定義為：

r(·)表示特征點之間的相對朝向量化函數，可通過反余弦函數求解；σ_O為常量因子，(p，q)，(p′，q′)為二對特征匹配對。