[發明專利]一種移動機器人視覺-雷達圖像跨模態檢索方法

有效

• 申請號: 201810729617.5
• 申請日: 2018-07-05
• 公開（公告）號: CN109033245B
• 公開（公告）日: 2020-12-11
• 發明（設計）人: 劉華平;張凱;鄧曉燕;孫富春
• 申請（專利權）人: 清華大學
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06K9/62;G06N3/04
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 廖元秋

1.一種移動機器人視覺-雷達圖像跨模態檢索方法，其特征在于，包括以下步驟：

(1)移動機器人獲取不同場景下包含有點云文件和對應圖像的軌跡集合，從軌跡集合中分別選取訓練集和測試集，分別將訓練集和測試集中的點云文件和圖像進行配對并創建標簽，并將測試集中的所有圖像作為檢索庫；具體步驟如下：

(1-1)獲取不同場景下包含有點云文件和對應圖像信息的軌跡集合；具體方法如下：

在移動機器人上分別安裝激光雷達、攝像機和GPS；設定A種不同場景，在每種場景下，令移動機器人以設定時速在該場景中行進，激光雷達持續360度掃描周圍環境采集行進過程中每個地點對應的點云文件，攝像機實時拍攝采集行進過程中每個地點相應的圖像，GPS記錄點云文件和圖像采集的地點和時間信息，每次采集時長為5-10分鐘，得到該場景下的一條軌跡；在每種場景下獲取5-10條不同軌跡，將所有場景下獲取的軌跡組成軌跡集合；

(1-2)從步驟(1-1)的軌跡集合中分別選取訓練集和測試集，將訓練集和測試集中的點云和圖像信息進行配對并創建標簽，并將測試集中的所有圖像作為檢索庫；具體步驟如下：

(1-2-1)從步驟(1-1)獲取的軌跡集合中隨機選擇同一場景下的兩條軌跡，將其中一條軌跡作為訓練集，另一條軌跡作為測試集；

(1-2-2)對訓練集中的點云文件和圖像根據該軌跡采集時獲取的GPS信息的對應關系進行配對，并把配對后的點云文件和圖像創建對應標簽；

(1-2-3)重復步驟(1-2-2)，對測試集中的點云文件和圖像進行配對并創建對應標簽，并將測試集中的所有圖像作為檢索庫；

(2)對訓練集點云文件中的點云數據進行預處理，然后建立點云深度學習網絡，利用點云深度學習網絡提取訓練集點云數據的特征，得到訓練集的點云特征矩陣；具體步驟如下：

(2-1)對訓練集中的每個點云文件的點云數據進行降采樣，然后使用正態標準化方法將降采樣后的點云數據歸一化；

(2-2)建立點云深度學習網絡，利用點云深度學習網絡提取訓練集點云數據的特征，得到訓練集的點云特征矩陣；具體步驟如下：

(2-2-1)構建點云深度學習網絡；

(2-2-2)利用點云深度學習網絡提取訓練集點云數據的特征，得到訓練集的點云特征矩陣；

點云深度學習網絡的輸入為單個點云文件，輸出為輸入點云文件對應的一個1024維特征向量；令訓練集包含N個點云文件，將N個點云文件依次輸入點云深度學習網絡，網絡輸出每個點云文件對應的1024維特征向量，共得到N個1024維特征向量；

將訓練集每個點云文件對應的1024維特征向量，按照對應點云文件采集的先后順序組合，最終得到一個N x1024維的點云特征矩陣，記為訓練集的點云特征矩陣X；

(3)對訓練集中的圖像進行預處理，然后建立圖像卷積神經網絡，利用圖像卷積神經網絡提取訓練集每張圖像的特征，得到訓練集的圖像特征矩陣；具體步驟如下；

(3-1)對訓練集的所有圖像進行預處理，將訓練集每張圖像下采樣至227x 227；

(3-2)構建圖像卷積神經網絡，利用圖像卷積神經網絡提取訓練集每張圖像的特征，得到訓練集的圖像特征矩陣；具體步驟如下：

(3-2-1)構建圖像卷積神經網絡；

(3-2-2)利用圖像卷積神經網絡提取訓練集每張圖像的特征，得到訓練集的圖像 特征矩陣；

圖像卷積神經網絡的輸入是大小為227x 227x 3的一張訓練集的圖像，輸出為輸入圖像對應的一個4096維的特征向量；令訓練集包含M張圖像，依次將M張圖像輸入圖像卷積神經網絡，網絡輸出每張圖像對應的4096維特征向量，共得到M個4096維特征向量；

將訓練集每張圖像對應的4096維特征向量，按照和步驟(2-2-2)的點云特征矩陣中點云數據對應的順序進行組合，最終得到一個M x4096維的圖像特征矩陣，記為訓練集的圖像特征矩陣Y；

(4)利用聚類典型相關分析對步驟(2)得到的訓練集的點云特征矩陣和步驟(3)得到的訓練集的圖像特征矩陣進行降維處理，分別得到兩個矩陣對應的投影向量矩陣；具體方法如下：

將X和Y表示為各自特征的線性組合：

U＝Xa

V＝Yb

其中，U為降維后的訓練集的點云特征矩陣，V為降維后的訓練集的圖像特征矩陣；a為訓練集的點云特征矩陣對應的投影向量矩陣；b為訓練集的圖像特征矩陣對應的投影向量矩陣；

X和Y的協方差矩陣為：

其中表示成對對應的總數，C表示的是訓練集點云文件和圖像配對后的數據組數，分別表示在第c組中的點云和圖像數據，|X_c|代表點云數據在第c組的模態個數，|Y_c|代表圖像數據在第c組的模態個數；

U和V的協方差矩陣關系：

U和V的相關系數ρ的表達式如下：

當U和V的相關系數ρ最大時，通過構造拉格朗日函數求解出投影向量矩陣a和b；

(5)從測試集的點云文件中選取測試點云，并從測試集的圖像中檢索得到與測試點云最相似的R張圖像；具體步驟如下：

(5-1)令測試集包含N1個點云文件，將測試集的點云文件輸入步驟(2)建立的點云深度學習網絡，得到N1x1024維的測試集的點云特征矩陣T，從測試集中任意選取一個點云文件作為測試點云，得到其對應的1024維特征向量T1；

(5-2)令測試集包含M1張圖像，將測試集的圖像輸入步驟(3)建立的圖像卷積神經網絡,得到M1x4096維的測試集的圖像特征矩陣I；

(5-3)將步驟(5-1)得到的測試集的點云特征矩陣T乘以步驟(4)中得到的訓練集點云特征矩陣對應的投影向量矩陣a，得到降維后的測試集點云特征矩陣T'，根據T'的順序找到(5-1)中選取的測試點云對應的降維后的特征向量T1'；

(5-4)將步驟(5-2)中得到的測試集的圖像特征矩陣I乘以步驟(4)中得到的圖像特征矩陣對應的投影向量矩陣b，得到降維后的測試集圖像特征矩陣I'；

(5-5)計算步驟(5-3)得到的降維后的測試點云特征向量T1'和(5-4)得到的圖像特征矩陣I'的歐氏距離，共得到M1個歐氏距離；

(5-6)將(5-5)中得到的M1個歐氏距離結果按照升序順序排列，選取前R個結果對應測試集的R張圖像即為檢索得到的與測試點云最相似的圖像；

(6)對步驟(5)的檢索結果進行進一步篩選，得到與測試點云最接近的圖像；具體步驟如下；

(6-1)將(5-6)中得到的測試集的R張圖像通過對應標簽信息得到每張圖像的GPS地點信息，計算每張圖像對應地點與測試點云之間的實際距離，共得到R個實際距離；公式如下：

D＝distance(lat1,lon1,lat2,lon2)

dis＝D×6371×1000×2×pi/360

其中，lat1，lon1分別表示測試點云的經緯度坐標；lat2，lon2分別表示檢索結果圖像的經緯度坐標，pi＝3.1415926，6371為地球半徑，dis即為兩點之間的實際距離；

(6-2)將(6-1)中得到的R個實際距離按照升序順序排列，距離最小值對應的測試集圖像即為與測試點云最接近的圖像，檢索完成。