[發明專利]一種基于深度卷積網絡的跨域圖像稀疏匹配方法

在審

• 申請號: 201810846985.8
• 申請日: 2018-07-27
• 公開（公告）號: CN109460773A
• 公開（公告）日: 2019-03-12
• 發明（設計）人: 科菲爾·阿博曼;陳寶權;史明鎰;達尼·李其思;達尼·科恩爾
• 申請（專利權）人: 北京電影學院
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 北京理工大學專利中心 11120
• 代理人: 代麗;仇蕾安

本發明公開了一種基于深度卷積網絡的跨域圖像稀疏匹配方法。使用本發明能夠適用于外觀特征變化較大的圖像，且魯棒性較好。本發明利用深度卷積網絡中不同層級的卷積層、池化層或激活層的張量信息，倒金字塔式地從最底層級依次往上進行逐漸精確的特征點匹配，能夠適用于外觀特征變化較大的圖像，且魯棒性較好。此外，利用張量響應值對最近鄰匹配對進行篩選，剔除語義信息不強的最近鄰匹配對，使得篩選出來的最近鄰匹配對具有語義相關性。

技術領域

本發明涉及計算機視覺技術領域，具體涉及一種基于深度卷積網絡的跨域圖像稀疏匹配方法。

背景技術

圖像匹配不僅是計算機視覺中的一個核心問題，也是很多圖形學應用如圖像變形的基礎。

傳統算法中，把尋找圖像匹配點的過程分為兩步，首先提取出每幅圖像中的特征點，然后將特征點進行比較獲得匹配。對此國內外提出了很多有效的方法，主要分為角點特征檢測、斑狀特征檢測和區域特征檢測等三大類。1999年由Lowe等人提出來的SIFT(Scale-invariant feature transform)算法，基于圖像局部外觀的興趣點而與圖像的大小和旋轉無關，具有平移、旋轉、尺度及部分視角變化的不變性(Lowe,David G.Objectrecognition from local scale-invariant features.Computer vision,1999.Theproceedings of the seventh IEEE international conference on.Vol.2.Ieee,1999.)；2006年由Herbert提出來的SURF(Speeded up robust features)算法是SIFT算法的改進，大大降低了算法的時間復雜度(Bay,Herbert,Tinne Tuytelaars,and Luc VanGool.Surf:Speeded up robust features.European conference on computervision.Springer,Berlin,Heidelberg,2006.)。

然而僅僅基于圖像本身的特征，對于外觀特征變化較大的圖像，傳統算法無法得到較好的匹配結果。此外，由于缺少語義信息，得到的匹配點也不具有語義相關性，無法為更多的有意義的后續工作提供指導。Christopher B.Choy等人提出了一種基于深度網絡的學習方法來學習圖像之間的匹配，然而他們有監督的方法只適用于對應數據集的數據，魯棒性較差(Chandraker M,Choy C B,Savarese S.UNIVERSAL CORRESPONDENCE NETWORK:,US20170124711[P].2017.)。

發明內容

有鑒于此，本發明提供了一種基于深度卷積網絡的跨域圖像稀疏匹配方法，能夠適用于外觀特征變化較大的圖像，且魯棒性較好。

本發明的基于深度卷積網絡的跨域圖像稀疏匹配方法，包括如下步驟：

步驟1，構建深度卷積網絡，并對其進行訓練，得到能夠提取圖像特征的、訓練好的深度卷積網絡；

步驟2，將待匹配的兩幅圖像A、B分別輸入步驟1訓練好的深度卷積網絡，提取深度卷積網絡中各層級中的卷積層、池化層或激活層的輸出；其中，一個層級提取其中一層的輸出，各層級可以提取同一種層的輸出(例如均提取激活層)，也可以提取不同種層的輸出；

步驟3，針對提取的各層的輸出，分別設定該層的搜索子區域；從最底層開始，由下至上在各層對應的搜索子區域內分別進行最近鄰匹配；其中，最近鄰匹配過程如下：