[發明專利]一種基于語義對象匹配的圖像拼接方法

在審

• 申請號: 202110104851.0
• 申請日: 2021-01-26
• 公開（公告）號: CN112950466A
• 公開（公告）日: 2021-06-11
• 發明（設計）人: 周忠;李萌;呂偉;楊硌;梅瀾
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/50;G06T7/10;G06T7/33
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 顧煒;江亞平

1.一種基于語義對象匹配的圖像拼接方法，其特征在于：在圖像拼接的框架中采用語義匹配算法獲得實例對象之間的語義匹配對，從而引入圖像高層語義信息，提高圖像拼接中特征匹配的魯棒性和準確性，進而提升圖像拼接的效果。

2.根據權利要求1所述的一種基于語義對象匹配的圖像拼接方法，其特征在于：使用圖像分割獲得圖像中實例對象的信息，為所述實例對象構建空間關系圖，通過空間關系圖獲得相同的實例對象，逐對通過語義匹配模塊，獲得像素級的語義匹配對。

3.根據權利要求2所述的一種基于語義對象匹配的圖像拼接方法，其特征在于：將底層視覺特征匹配對根據分割結果和語義匹配對進行篩選優化得到最終匹配對，將其輸入網格優化框架對圖像進行變形對齊，然后使用圖像融合算法實現圖像拼接。

4.根據權利要求2所述的一種基于語義對象匹配的圖像拼接方法，其特征在于：所述圖像分割是將待拼接的圖像或視頻幀通過通用實例對象檢測分割框架獲得圖像中實例對象的掩碼、標注框、標簽信息。

5.根據權利要求2所述的一種基于語義對象匹配的圖像拼接方法，其特征在于：所述構建空間關系圖是根據實例對象的位置信息，判斷各個實例對象之間的拓撲關系和方向關系，其中涉及到的拓撲關系分為相離和相交兩種，方向關系采用八方向錐形模型。

6.根據權利要求2所述的一種基于語義對象匹配的圖像拼接方法，其特征在于：所述語義匹配模塊是使用預訓練的VGG19卷積神經網絡，根據幾何一致性約束進行特征相似性度量，獲得像素級語義特征匹配對，再結合圖像分割信息對底層視覺特征匹配對進行優化篩選，獲得最終的特征匹配對。

7.根據權利要求3所述的一種基于語義對象匹配的圖像拼接方法，其特征在于：實現圖像對齊的所述網格優化框架包括：首先將圖像劃分均勻的初始網格，對能量函數進行迭代最小化求解，并在迭代過程中不斷地更新網格，直到到達最大迭代次數獲得最終網格，根據最終網格將圖像進行變形對齊。

8.根據權利要求7所述的一種基于語義對象匹配的圖像拼接方法，其特征在于：所述能量函數包括對齊約束、尺度約束、平滑約束和直線約束。

9.根據權利要求1所述的一種基于語義對象匹配的圖像拼接方法，其特征在于：所述圖像拼接是在獲得對齊的圖像后，將待拼接圖像中重疊區域的對應像素進行合并處理，并且對非重疊區域中的像素保留其信息，消除肉眼可見的明暗變化和可見縫，使圖像拼接結果更加自然化。