[發明專利]基于深度學習的跨視角影像實時匹配地理定位方法及系統在審
| 申請號： | 202111444175.8 | 申請日： | 2021-11-30 |
| 公開（公告）號： | CN114241464A | 公開（公告）日： | 2022-03-25 |
| 發明（設計）人： | 涂志剛;李松廉;陳雨勁 | 申請（專利權）人： | 武漢大學 |
| 主分類號： | G06V20/62 | 分類號： | G06V20/62;G06K9/62;G06N3/04;G06N3/08;G06V10/774;G06V10/75 |
| 代理公司： | 武漢科皓知識產權代理事務所(特殊普通合伙) 42222 | 代理人： | 嚴彥 |
| 地址： | 430072 湖*** | 國省代碼： | 湖北;42 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 基于 深度 學習 視角 影像 實時 匹配 地理 定位 方法 系統 | ||
1.一種基于深度學習的跨視角影像實時匹配地理定位方法，其特征在于，包括以下步驟：
步驟S1，利用域對齊算法將空視圖像與街景圖像初步對齊；
步驟S2，構建孿生神經網絡，所述孿生神經網絡的結構包括兩個提取特征圖的卷積神經網絡分支，后接全局描述向量編碼模塊，再接距離度量層；
步驟S3，在包含街景圖像與遙感圖像的已有數據集基礎上訓練步驟S2所述孿生神經網絡；
步驟S4，構建具體應用場景的數據集，并繼續在步驟S3訓練所得的孿生神經網絡基礎上進行微調訓練；
步驟S5，現場抓拍街景圖片，并利用訓練好的網絡在步驟S4構建的數據集中檢索與之匹配的衛星圖像，從而完成街景圖片的定位。
2.根據權利要求1所述的一種基于深度學習的跨視角影像實時匹配地理定位方法，其特征在于：所述步驟S1中的域對齊算法實現方式如下，
將街景圖像近似轉換為空視圖像的逆極坐標轉換，通過以下公式進行轉換，
其中，是原始街景圖像像素坐標，是合成空視圖像像素坐標，Wa和Ha分別為原始空視圖像的寬和高，Ws和Hs分別為原始街景圖像的寬和高。
3.根據權利要求1所述的一種基于深度學習的跨視角影像實時匹配地理定位方法，其特征在于：所述步驟S1中的域對齊算法實現方式如下，
將空視圖像近似轉換為街景圖像，通過以下公式進行轉換，
其中，是原始空視圖像像素坐標，是合成街景圖像像素坐標，Wa和Ha分別為原始空視圖像的寬和高，Ws和Hs分別為原始街景圖像的寬和高。
4.根據權利要求1或2或3所述的一種基于深度學習的跨視角影像實時匹配地理定位方法，其特征在于：所述步驟S2的孿生神經網絡具體結構實現如下，
兩個提取特征圖的卷積神經網絡分支，采用卷積層與池化層的復合而成的網絡；
全局描述向量編碼模塊為全連接層，其中每層的節點個數根據實際應用場景設定；
距離度量層計算全局描述向量的歐式距離。
5.根據權利要求1或2或3所述的一種基于深度學習的跨視角影像實時匹配地理定位方法，其特征在于：所述步驟S3的網絡訓練實現方式如下，
每次訓練時，按三元組樣本對訓練網絡，從訓練集中隨機選擇一張來自同一地點拍攝的街景圖像和衛星圖像作為正樣本對，再選擇一張來自另一地點的衛星圖像與前面選擇的街景圖像組成負樣本對，這三張圖像組成三元組輸入進網絡；
將樣本輸入網絡，依次經過特征提取層，全局描述向量編碼層，距離度量層，最后得出樣本對之間的距離大小，并帶入加權軟間距排序損失；
網絡根據損失函數反向傳播以自動調整參數。
6.根據權利要求1或2或3所述的一種基于深度學習的跨視角影像實時匹配地理定位方法，其特征在于：步驟S5中利用訓練好的網絡判斷街景圖像地理位置，實現方式如下，
將拍攝的街景圖片與衛星圖片數據集中的圖片輸入訓練好的網絡中；
網絡自動將兩視角圖片編碼為一維的全局描述向量，并計算兩向量之間的距離，最后從衛星圖片數據集中檢索出與查詢街景圖片特征距離最近的衛星圖片，將其位置坐標賦與查詢街景圖片。
7.一種基于深度學習的跨視角影像實時匹配地理定位系統，其特征在于：用于實現如權利要求1-6任一項所述的一種基于深度學習的跨視角影像實時匹配地理定位方法。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于武漢大學，未經武漢大學許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202111444175.8/1.html，轉載請聲明來源鉆瓜專利網。
