[發明專利]一種基于內容感知的深度網格流魯棒圖像對齊方法

有效

• 申請號: 202110498009.X
• 申請日: 2021-05-08
• 公開（公告）號: CN113139990B
• 公開（公告）日: 2022-03-15
• 發明（設計）人: 劉帥成;葉年進;點云
• 申請（專利權）人: 電子科技大學
• 主分類號: G06T7/33
• 分類號: G06T7/33
• 代理公司: 北京正華智誠專利代理事務所(普通合伙) 11870
• 代理人: 李林合

1.一種基于內容感知的深度網格流魯棒圖像對齊方法，其特征在于，包括以下步驟：

S1、搭建并訓練用于圖像對齊的深度神經網絡；

其中，深度神經網絡包括依次連接的掩膜預測模塊和多尺度特征提取模塊；

S2、將待對齊的源圖像和目標圖像輸入至掩膜預測模塊中提取掩膜，并使用提取的掩膜分別對原圖像和目標圖像進行矩陣點乘，獲得對應的掩膜圖像輸入至多尺度特征提取模塊中；

S3、通過多尺度特征提取模塊對輸入的掩膜圖像分別進行特征提取，獲得特征提取結果；

S4、基于特征提取結果，對源圖像進行處理使之與目標圖像對齊；

所述步驟S3包括以下分步驟：

S31、通過各個尺度下的特征提取單元依次對輸入的掩膜圖像進行特征提取，分別獲得相鄰尺度關系為2倍的源圖像特征和目標圖像特征；

S32、在當前尺度的warp操作單元中，對當前尺度下的源圖像特征根據上一尺度的網格流進行warp操作；

S33、計算warp操作后的源圖像特征與當前尺度下目標圖像特征的匹配損耗；

S34、基于匹配損耗，通過當前尺度下的網格流估計單元計算當前尺度的網格流；

S35、重復步驟S32～S34，獲得最終尺度為輸入圖像一半的網格流，作為多尺度特征提取模塊的特征提取結果。

2.根據權利要求1所述的基于內容感知的深度網格流魯棒圖像對齊方法，其特征在于，所述步驟S1中的多尺度特征提取模塊包括特征提取單元、warp操作單元、匹配損耗計算單元以及網格流估計單元；

每個尺度下的特征提取單元均對應一組依次連接的warp操作單元、匹配損耗計算單元以及網格流估計單元；

最大尺度的所述特征提取單元對應的網格流估計單元輸出尺度為輸入圖像一半的網格流，作為多尺度特征提取模塊的特征提取結果。

3.根據權利要求2所述的基于內容感知的深度網格流魯棒圖像對齊方法，其特征在于，所述網格流估計單元包括依次連接5層密卷積層和自適應池化層；

所述網格流估計單元的個數為3個，從最小尺度開始其對應的網格流密度依次為1×1、4×4和32×32。

4.根據權利要求1所述的基于內容感知的深度網格流魯棒圖像對齊方法，其特征在于，所述步驟S33中，匹配損耗cv^l(x₁,x₂)的計算公式為：

式中，N為向量長度，為第i層的源圖像特征，為經過warp操作后的第i層的目標圖像特征，x₁為源圖像元素，x₂為目標圖像元素。

5.根據權利要求1所述的基于內容感知的深度網格流魯棒圖像對齊方法，其特征在于，所述步驟S34中，通過網格流估計單元計算當前尺度的網格流時的損失函數包括三重態損失和角度保留損失；

所述三重態損失L_tr(I_s,I_t)為：

式中，I_s和I_t分別為源圖像和目標圖像，為第k個尺度下經過warp操作的源圖像，為在添加掩膜的情況下，使用第k個尺度的網格流進行圖像對齊的誤差，且其表達式為：

式中，M_t為目標圖像的掩膜，為第k個尺度下經過warp操作的原圖像的掩膜；

所述角度保留損失L'_ap(p)為：

L'_ap(p)＝λ·W(p)L_ξ(p)+(1-λ)·W(p)L_θ(p)

式中，L_θ(p)為網格間損失，L_ξ(p)為網格內損失，λ為平衡權重，W(p)為內容自適應的加權。