[發明專利]一種基于深度學習的特征點檢測與描述子生成方法

在審

• 申請號: 202210024765.3
• 申請日: 2022-01-11
• 公開（公告）號: CN114972937A
• 公開（公告）日: 2022-08-30
• 發明（設計）人: 任鵬舉;宋翔;丁焱;景鑫;焦崇珊;毛藝鈞;于航
• 申請（專利權）人: 西安交通大學
• 主分類號: G06V10/80
• 分類號: G06V10/80;G06V10/74;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京中濟緯天專利代理有限公司 11429
• 代理人: 覃婧嬋

一種基于深度學習的特征點檢測與描述子生成方法，包括如下步驟：S100：構建新的卷積神經網絡；S200：利用所述新的卷積神經網絡預測輸入圖像的特征點并且生成描述子向量；其中，所述新的卷積神經網絡結構由兩部分組成，第一部分為編碼器，用于輸入圖像的特征編碼；第二部分為3個解碼器，第一個解碼器生成描述子特征圖，第二個解碼器生成特征點的獨特性特征圖，第三個解碼器由不同層的神經網絡特征拼接作為輸入生成準確度特征圖。本方法生成的特征點具有更高的定位精度和獨特性，有助于提高特征點匹配的性能以及后續任務的精度。

技術領域

本公開屬于圖像處理技術領域，特別涉及一種基于深度學習的特征點檢測與描述子生成方法。

背景技術

在圖像處理中，特征點是指圖像灰度值發生劇烈變化的點或者在圖像邊緣上曲率較大的點。特征點通常包含點在圖像上的位置信息，而描述子通常是一個向量，它描述了特征點周圍像素點的信息。特征點檢測與描述是計算機視覺領域最基礎、最重要的研究領域之一，能夠精確地提取并描述圖像中的特征點是很多計算機視覺任務的前置任務，比如相機標定、位姿估計、立體匹配、同時定位與構圖 (Simultaneous Localization andMapping，SLAM)、三維重建等。

特征點檢測器的設計，需要考慮抗噪性、尺度不變性、視點不變性、光照不變性、快速檢測和描述等幾個。傳統的特征點檢測器設計復雜，一般只能兼顧以上某一個或者某幾個方面，尤其對光照和尺度變化的魯棒性較差，難以適應多變的實際場景。由于深度學習在當前計算機視覺任務中的優異表現，基于深度神經網絡的方法逐漸成為該領域的研究熱點。目前，具有代表性的深度學習通用模型有如下兩種： 1)SuperPoint、R2D2等方法前端共享一個特征編碼網絡，后端分成兩個分支解碼網絡，同時進行特征點的檢測和描述子的生成。2) D2-Net和ASLFeat等方法使用單個網絡進行圖像特征的提取，特征向量直接作為描述子向量，而特征點的位置由特征向量預測得到。上述方法在實際應用中存在以下問題：首先，特征點的定位精度不足，通過可視化神經網絡的各層后發現，經過多層卷積以后圖像原本的細節特征丟失，邊緣位置發生偏移，這就導致了特征點的定位精度降低；其次，特征點的獨特性不足，也就是提取的特征點中存在大量描述子相似的點，而相似的點會給后續任務帶來大量的誤匹配，進而導致位姿估計的精度降低。

發明內容

鑒于此，本公開提供了一種基于深度學習的特征點檢測與描述子生成方法，包括如下步驟：

S100：構建新的卷積神經網絡；

S200：利用所述新的卷積神經網絡預測輸入圖像的特征點并且生成描述子向量；

其中，所述新的卷積神經網絡結構由兩部分組成，第一部分為編碼器，用于輸入圖像的特征編碼；第二部分為3個解碼器，第一個解碼器生成描述子特征圖，第二個解碼器生成特征點的獨特性特征圖，第三個解碼器由不同層的神經網絡特征拼接作為輸入生成準確度特征圖。

通過上述技術方案，本方法利用神經網絡預測輸入圖像的特征點并且生成描述子向量。與其他深度學習的方法相比，本方法生成的特征點具有更高的定位精度和獨特性，有助于提高特征點匹配的性能以及后續任務的精度。

本方法帶來的有益效果為：首先，針對特征點的定位精度不足的問題，本方法采用淺層與深層特征融和的操作，為特征點檢測器中引入底層細節特征，并且利用圖像的梯度作為損失函數，從而提高檢測器的定位精度。其次，針對特征點的獨特性不足的問題，設計了獨特性損失函數，將假定的特征點與圖像中所有的其他特征點的描述子進行比較，度量其獨特性。最后，使用HPatches數據集和Aachen-Day and Night數據集，充分證實了本方法在圖像匹配和視覺定位等具體任務中的優異表現。

附圖說明

圖1是本公開一個實施例中所提供的一種基于深度學習的特征點檢測與描述子生成方法流程圖；

圖2是本公開一個實施例中基于深度學習的特征點檢測與描述子生成方法的結構圖；