[發明專利]一種基于RGBD數據的局部描述子學習方法

有效

• 申請號: 201810083376.1
• 申請日: 2018-01-29
• 公開（公告）號: CN108171249B
• 公開（公告）日: 2022-03-08
• 發明（設計）人: 胡永利;秦子文;孫艷豐;尹寶才
• 申請（專利權）人: 北京工業大學
• 主分類號: G06V10/46
• 分類號: G06V10/46;G06V10/82;G06V10/80;G06N3/04;G06N3/08
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 吳蔭芳

本發明公開了一種基于RGBD數據的局部描述子學習方法，包括設計卷積神經網絡模型，使用隨機梯度下降方法訓練卷積神經網絡，使用訓練完成的卷積神經網絡構造描述子。其中卷積神經網絡模型包含兩部分：第一部分為特征提取層，第二部分為特征融合層；其中特征提取層分為兩個子網絡：二維卷積子神經網絡和三維卷積子神經網絡；特征融合層為全連接神經網絡；二維卷積子神經網絡和三維卷積子神經網絡是平行網絡。本發明解決了RGBD數據融合方式提取特征點描述子的問題，相對于其他同類方法，本方法魯棒性更強，匹配準確率更高。

技術領域

本發明屬于計算機視覺領域，涉及一種基于RGBD數據的局部描述子學習方法，特別適用于RGBD數據序列的相機位姿估計。

背景技術

計算特征點描述子是計算機視覺中一個非常基礎而重要的任務，通常視角劇烈變化、光照變化、重復紋理等因素都會影響描述子的質量，進而會影響特征點之間匹配的準確率，最終可能導致諸如SFM(Structure from Motion)，圖像匹配，SLAM(SimultaneousLocalization and Mapping)等計算機視覺任務的失敗。

現有計算特征點描述子的方法主要分為兩類：人工設計的方法和基于神經網絡技術的方法。

人工設計的方法中典型代表有：SIFT(Scale Invariant Feature Transform)，SURF(Speeded Up Robust Features)，BRIEF(Binary Robust Independent ElementFeature)，ASIFT(Affine SIFT)。當出現重復紋理，圖像模糊，視角劇烈變化等情況時，這些計算特征點描述子方法的性能就會明顯下降。

基于神經網絡技術的方法中典型代表有：Guo et al[2]使用二維卷積神經網絡學習特征點局部幾何描述子，但是該方法需要手工數據和完整的三維模型；SergeyZagoruyko[6]使用不同分辨率的彩色圖像塊對作為siamese net[10]網絡的輸入來學習特征點的描述子。3DMatch[3]利用卷積神經網絡在三維點云上計算描述子，但沒有利用圖像的紋理和顏色信息。

上述兩類方法在計算特征點描述子的時候只使用了單一類型數據。如果只使用彩色圖像數據，當出現重復紋理、光照劇烈變化，運動模糊時上述方法計算的描述子質量就會下降；另外如果只使用三維數據，當出現三維幾何結構類似時上述方法計算的描述子質量同樣也會下降。

發明內容

為了同時利用彩色圖像信息和三維幾何結構信息解決上述問題，最終提高圖像描述子質量，本專利提出了一種基于RGBD數據的局部描述子學習方法。

具體技術方案如下：

一種基于RGBD數據的局部描述子學習方法，包括以下步驟：

1)設計卷積神經網絡模型；

卷積神經網絡模型包含兩部分：第一部分為特征提取層，第二部分為特征融合層；其中特征提取層分為兩個子網絡：二維卷積子神經網絡和三維卷積子神經網絡；特征融合層為全連接神經網絡；二維卷積子神經網絡和三維卷積子神經網絡是平行網絡；

二維卷積子神經網絡由12層結構組成，如圖4，從輸入開始依次為第一Inception層、第二Inception層、第一最大池化層、第三Inception層、第四Inception層、第二最大池化層、第一卷積層、第三最大池化層、第二卷積層、第四最大池化層、第三卷積層、第四卷積層，則二維卷積子神經網絡的結構表示如下：

第一Inception層：Inception₁[ince11,ince21,ince 22,ince 31,ince32,ince41,ince 42,ince 51]