[發明專利]地點識別及其模型訓練的方法和裝置以及電子設備

有效

• 申請號: 201910390693.2
• 申請日: 2019-05-10
• 公開（公告）號: CN110209859B
• 公開（公告）日: 2022-12-27
• 發明（設計）人: 白棟棟;凌永根;劉威
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F16/58
• 分類號: G06F16/58;G06F16/587;G06F16/583;G06N3/04
• 代理公司: 深圳市聯鼎知識產權代理有限公司 44232
• 代理人: 劉抗美

本發明揭示了一種地點識別及其模型訓練的方法和裝置、計算機可讀存儲介質以及電子設備。方法包括：基于CNN模型的第一部分提取樣本圖像的局部特征；基于CNN模型的第二部分將局部特征聚合成具有第一維數的特征向量；基于CNN模型的第三部分得到特征向量的壓縮表示向量，壓縮表示向量具有小于第一維數的第二維數；以及以使得多個圖像對應的壓縮表示向量之間的距離最小化為目標，調整第一至第三部分的模型參數，直至得到滿足預設條件的CNN模型。本發明實施例提供的模型訓練方法，通過在CNN模型中引入參數可訓練的壓縮過程，能夠真正實現端到端的訓練地點識別模型，得到的CNN模型能夠直接獲得低維度的圖像特征，從而提高地點識別的性能。

技術領域

本發明涉及計算機技術領域，特別涉及一種地點識別及其模型訓練的方法和裝置、計算機可讀存儲介質以及電子設備。

背景技術

隨著圖像處理技術的進步，地點識別(Place Recognition)得到了越來越廣泛的應用。例如，在地圖應用中，通過地點識別可辨別相同的位置，從而修正地圖建立過程中可能存在的地點和位置錯誤。又例如，在視頻應用中，通過地點識別可對圖像片段進行分類，據此對視頻進行抽象和切分，以提取視頻精華。再例如，地點識別還可用于各種移動端應用的增強現實(Augmented Reality，AR)功能，在用戶使用移動端拍攝所看到的景物時，可通過地點識別確定對應的景物名稱，然后觸發相應的簡介、AR瀏覽功能。

地點識別主要面臨條件變化、視角變化和效率要求三種挑戰。為了應對這些困難，業內目前發展出三類實現方式。

第一類方式是基于人工設計的描述子(Descriptor)對地點圖像進行特征提??；這種方式對于視角變化具有較強的魯棒性，但無法針對應用場景變化進行自動調整。

第二類方式是使用預訓練的卷積神經網絡(Convolutional Neural Network，CNN)作為地點圖像的特征提取器；這種方式與前一種相比提升了對抗條件變化的能力，但由于其使用的CNN模型原本是在其他領域進行的預訓練，因此性能提升有限。

第三類方式是直接將地點識別作為訓練目標，首先使用常見網絡提取地點圖像的描述子，然后聚合成特定維數的特征向量；這類算法明顯提高了地點識別對條件和視角變化的魯棒性，但由于獲得的圖像特征通常具有較高的維度，因而計算處理的成本較高，往往難以滿足地點識別的效率要求。

發明內容

為了解決相關技術中地點識別無法同時沒滿足條件變化、視角變化和效率要求的問題，本發明提供了一種地點識別及其模型訓練的方法和裝置、計算機可讀存儲介質以及電子設備。

根據本發明的實施例，提供一種用于地點識別的模型訓練方法，所述方法包括：基于CNN模型的第一部分提取樣本圖像的局部特征，所述樣本圖像包括至少一組在同一地點拍攝的多個圖像；基于所述CNN模型的第二部分將所述局部特征聚合成具有第一維數的特征向量；基于所述CNN模型的第三部分得到所述特征向量的壓縮表示向量，所述壓縮表示向量具有小于所述第一維數的第二維數；以及以使得所述多個圖像對應的壓縮表示向量之間的距離最小化為目標，調整所述第一部分、所述第二部分和所述第三部分的模型參數，直至得到滿足預設條件的CNN模型。

根據本發明的實施例，提供一種地點識別方法，包括：使用CNN模型對采集的圖像提取壓縮表示向量，所述CNN模型根據如上所述的用于地點識別的模型訓練方法訓練得到；以及基于所述提取的壓縮表示向量進行地點識別。