[發明專利]一種移動機器人視覺-雷達圖像跨模態檢索方法

有效

• 申請號: 201810729617.5
• 申請日: 2018-07-05
• 公開（公告）號: CN109033245B
• 公開（公告）日: 2020-12-11
• 發明（設計）人: 劉華平;張凱;鄧曉燕;孫富春
• 申請（專利權）人: 清華大學
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06K9/62;G06N3/04
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 廖元秋

本發明屬于機器學習、智能控制領域，提出一種移動機器人視覺?雷達圖像跨模態檢索方法。該方法首先讓移動機器人獲取包含有點云文件和對應圖像的訓練集和測試集；分別獲取訓練集的點云特征矩陣和圖像特征矩陣，利用聚類典型相關分析對兩個特征矩陣降維得到對應的投影向量矩陣；檢索時，根據投影向量矩陣獲取測試點云降維后的特征向量和降維后的測試集圖像特征矩陣，計算兩者之間的歐氏距離從而得到與測試點云最相似的圖片即為檢索結果。本發明能夠實現移動機器人在無法獲取圖像信息或者采集圖像信息受到極大干擾時，通過點云信息檢索到與之最相近的圖像，彌補了點云在可視化效果上的不足之處。

技術領域

本發明屬于機器學習、智能控制領域，特別涉及一種移動機器人視覺-雷達圖像跨模態檢索方法。

背景技術

近年來，隨著傳感器技術，控制系統，人工智能的不斷發展，移動機器人的發展取得了很大的進步。在軍事上，可以將移動機器人作為偵查機器人，它能夠自主導航、智能避障，獨立完成各種偵查和戰斗任務；在科技領域，可以將移動機器人設計為月球無人車，用來完成月球探測、收集、考察和分析樣品等復雜任務；在民用上，移動機器人可以應用在無人自主駕駛領域，在自動駕駛和輔助駕駛系統等方面幫助減少交通事故、減少尾氣排放等。因此，對于移動機器人的研究具有廣泛的科學意義和現實價值；同時，智能化也是新一代汽車技術發展的前沿，已引起國際上的極大關注。

移動機器人的感知功能一直是人們所研究關注的重點，而感知功能主要是通過傳感器來獲取數據然后實現的。傳感器是移動機器人不可或缺的重要組成部分，常用的傳感器包括攝像頭、激光雷達、超聲波雷達、GPS和陀螺儀等，其中攝像頭和激光雷達是最主要的兩種傳感器。

目前，通過攝像頭拍攝圖像或視頻，再對拍攝的圖像或視頻進行識別以確定周圍環境，是移動機器人的主要感知途徑；而通過激光雷達可以獲得移動機器人周圍物體輪廓邊沿與移動機器人的相對距離，這些由激光雷達采集得到的移動機器人周圍物體的輪廓信息組成了點云信息，根據點云信息可繪制出3D環境地圖，精度最高可達到厘米級別。激光雷達不依賴光照，它的觀測視角可以是360°；并且由激光雷達采集得到的點云數據具有由攝像頭拍攝的圖像所不具備的3D立體信息。在某些極端天氣或者夜晚的情況下，攝像頭所采集的圖像信息會受到極大的干擾，此時雷達的存在便顯得十分重要。目前視覺雷達圖像跨模態檢索領域還無相關成熟技術。

聚類典型相關分析(cluster-CCA)是利用綜合變量簇之間的相關關系來反映兩組指標之間的整體相關性的多元統計分析方法。它的基本原理是：為了從總體上把握兩組指標之間的相關關系，分別在兩組變量中提取有代表性的兩簇綜合變量，利用這兩簇綜合變量之間的相關性來反映兩組指標之間的整體相關性。它是在典型相關分析(CCA)的基礎上演變而來的，目的就是為了解決CCA所不能解決的兩組指標之間非一一對應時的一對多或者多對多的子集間的相關關系。目前典型相關分析用的最多的還是文本和圖像檢索領域，但是隨著科學技術的發展和媒體信息的不斷增多，典型相關分析必然會在更多模態信息間發揮作用，實現更多領域的跨模態檢索。

發明內容

本發明的目的是為了解決在夜晚或者極端天氣的情況下，移動機器人通過攝像頭獲取圖像會受到干擾而無法準確獲取周圍環境信息的不足之處，提出一種移動機器人視覺-雷達圖像跨模態檢索方法。本發明能夠實現在無法獲取圖像信息或者采集圖像信息受到極大干擾時，通過點云信息檢索到與之最相近的圖像，彌補了點云在可視化效果上的不足之處，可應用在移動機器人領域，使移動機器人獲得更加豐富的對環境信息。

本發明提出一種移動機器人視覺-雷達圖像跨模態檢索方法，其特征在于，包括以下步驟：

(1)移動機器人獲取不同場景下包含有點云文件和對應圖像的軌跡集合，從軌跡集合中分別選取訓練集和測試集，分別將訓練集和測試集中的點云文件和圖像進行配對并創建標簽，并將測試集中的所有圖像作為檢索庫；具體步驟如下：

(1-1)獲取不同場景下包含有點云文件和對應圖像信息的軌跡集合；具體方法如下：