[發明專利]基于深度圖嵌入網絡與結構自學習的圖像關鍵點匹配方法有效
| 申請號： | 202110202841.0 | 申請日： | 2021-02-23 |
| 公開（公告）號： | CN112801206B | 公開（公告）日： | 2022-10-14 |
| 發明（設計）人： | 曾少鋒;劉智勇;楊旭 | 申請（專利權）人： | 中國科學院自動化研究所 |
| 主分類號： | G06V10/74 | 分類號： | G06V10/74;G06V10/46;G06V10/82;G06N3/04;G06N3/08 |
| 代理公司： | 北京市恒有知識產權代理事務所(普通合伙) 11576 | 代理人： | 郭文浩;尹文會 |
| 地址： | 100190 *** | 國省代碼： | 北京;11 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 基于 深度 嵌入 網絡 結構 自學習 圖像 關鍵 匹配 方法 | ||
1.一種基于深度圖嵌入網絡與結構自學習的圖像關鍵點匹配方法，其特征在于，該方法包括：
步驟S10，通過Delaunay三角分解或K近鄰法分別對獲取的待匹配圖像對的關鍵點進行結構化處理，獲得兩幅圖像關鍵點的鄰接矩陣；
步驟S20，將所述待匹配圖像對及其關鍵點、鄰接矩陣輸入訓練好的圖像關鍵點匹配網絡，通過圖像關鍵點匹配網絡中的特征提取網絡提取關鍵點特征圖，并通過雙線性插值法獲取關鍵點特征矩陣；
步驟S30，通過圖像關鍵點匹配網絡中的深度圖嵌入網絡更新關鍵點特征矩陣及圖結構；
步驟S40，通過圖像關鍵點匹配網絡中的深度圖匹配網絡計算相似度矩陣，通過Sinkhorn算法得到匹配矩陣；
步驟S50，基于所述匹配矩陣更新關鍵點特征矩陣；
步驟S60，重復執行步驟S30-步驟S40直至達到設定重復執行次數，獲得待匹配圖像對的最終匹配矩陣；
步驟S70，通過匈牙利算法進行所述最終匹配矩陣的離散化，獲得待匹配圖像對的關鍵點匹配結果。
2.根據權利要求1所述的基于深度圖嵌入網絡與結構自學習的圖像關鍵點匹配方法，其特征在于，所述圖像關鍵點匹配網絡，其訓練樣本對集中每一個訓練樣本對包括：
一個圖像對、對應于圖像對的大小相等的關鍵點集對、關鍵點集對之間的正確匹配矩陣以及通過Delaunay三角分解或K近鄰法獲取的關鍵點集對的鄰接矩陣A1和A2。
3.根據權利要求2所述的基于深度圖嵌入網絡與結構自學習的圖像關鍵點匹配方法，其特征在于，所述鄰接矩陣A1和A2的大小均為n×n，其中，n為關鍵點集中關鍵點數量；
所述鄰接矩陣A1和A2的矩陣元素初始值為1或0，1代表兩個關鍵點之間有邊相連，0代表兩個關鍵點之間無邊相連。
4.根據權利要求2所述的基于深度圖嵌入網絡與結構自學習的圖像關鍵點匹配方法，其特征在于，所述圖像關鍵點匹配網絡，其訓練方法為：
步驟B10，對訓練樣本對集中每一個訓練樣本對，分別通過特征提取網絡進行特征提取，獲得訓練樣本對的特征圖對；
步驟B20，通過雙線性插值法分別從所述訓練樣本對的特征圖對中提取訓練樣本對的關鍵點特征矩陣X1和X2；
步驟B30，通過深度圖嵌入網絡進行關鍵點特征矩陣X1和X2的學習和一次更新：
分別通過第一全連接層和第二全連接層將所述關鍵點特征矩陣X1和X2映射為矩陣Y1、Z1和矩陣Y2、Z2；
分別基于所述矩陣Y1和矩陣Y2，計算鄰接矩陣A1的更新矩陣和鄰接矩陣A2的更新矩陣并結合矩陣Z1和Z2進行關鍵點特征矩陣X1和X2的一次更新；
步驟B40，計算一次更新后的關鍵點特征矩陣X1和X2之間的相似度矩陣M，對M通過softmax進行按行歸一化，并通過Sinkhorn獲得匹配矩陣S；
步驟B50，基于所述匹配矩陣S進行所述關鍵點特征矩陣X1和X2的二次更新；
步驟B60，重復執行步驟B30-步驟B40直至達到設定重復執行次數，獲得最終匹配矩陣S；
步驟B70，基于所述訓練樣本對集中的訓練樣本對通過反向傳播算法迭代進行所述特征提取網絡、深度圖嵌入網絡和深度圖匹配網絡的訓練，直至訓練樣本對的最終匹配矩陣S和正確匹配矩陣之間的損失值低于設定閾值，獲得訓練好的圖像關鍵點匹配網絡。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于中國科學院自動化研究所，未經中國科學院自動化研究所許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202110202841.0/1.html，轉載請聲明來源鉆瓜專利網。
- 上一篇：一種新型發動機DPF后處理器
- 下一篇：一種控制界面顯示的方法、裝置及介質
