[發明專利]基于多傳感器特征融合的機器人環境感知方法

在審

• 申請號: 202210258535.3
• 申請日: 2022-03-16
• 公開（公告）號: CN115718903A
• 公開（公告）日: 2023-02-28
• 發明（設計）人: 邱小劍;阮杰;胡錦文;張振;張英孔;江瑞宇
• 申請（專利權）人: 江西省軍民融合研究院
• 主分類號: G06F18/25
• 分類號: G06F18/25;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 寧波奧凱專利事務所(普通合伙) 33227
• 代理人: 姜瑞祥

本發明涉及一種基于多傳感器特征融合的機器人環境感知方法，是針對現有同類技術中傳感器存在異步采樣的技術問題，及基于傳感器可信度的不同，如何實現特征融合的技術問題。其要點是該方法的機器人在自動導航或者在偵察現場過程中通過融合多傳感器的信息進行環境感知，傳感器信息質量優化和多層次特征提取，傳感器的可靠度與哈希碼通過點乘，將哈希碼提取的特征與傳感器的可靠度作為神經網絡的輸入，然后經過神經網絡訓練，得到結果輸出，從而實現環境感知；最終基于傳感器的可靠度和哈希特征矩陣實現特征級別的融合，從而實現多傳感器的有效融合，將傳感器的可靠度與哈希碼進行點乘，并將點乘的向量輸入到神經網絡中，實現環境感知和障礙物識別。

技術領域

本發明涉及機器人定位技術，是一種基于多傳感器特征融合的機器人環境感知方法。

背景技術

機器人在自動導航或者在偵察現場過程中，需要融合多傳感器的信息進行環境感知，比如傳統攝像頭、紅外攝像頭、激光雷達、溫度傳感器等，在此多傳感器的基礎上，將信息進行融合，實現環境的全局感知。如中國專利文獻中披露的申請號201910583355.0，申請公布日2019.09.17，發明名稱“基于多源傳感器的路面施工機器人環境感知系統及方法”。但是上述融合過程中，需要考慮兩個問題，第一，每一個傳感器的采集間隔是不一致的，那么存在異步采樣的問題，如何對異步采樣的設備所采集的信息進行最優順序融合，是當前一個很重要的問題；第二，每一個傳感器所采集的信息是有差距的，也就是每一個傳感器的采集信息的可信度不一樣，如何找出一種可靠的算法，對可靠的信息進行選擇，是實現傳感器特征融合的前提。

發明內容

為克服上述不足，本發明的目的是向本領域提供一種基于多傳感器特征融合的機器人環境感知方法，使其主要解決現有同類技術中傳感器存在異步采樣的技術問題，及基于傳感器可信度的不同，如何實現特征融合的技術問題。其目的是通過如下技術方案實現的。

一種基于多傳感器特征融合的機器人環境感知方法，該方法的機器人在自動導航或者在偵察現場過程中通過融合多傳感器的信息進行環境感知，傳感器的可靠度與哈希碼通過點乘，將哈希碼提取的特征與傳感器的可靠度作為神經網絡的輸入，然后經過神經網絡訓練，得到結果輸出，從而實現環境感知；最終實現特征級別的融合，實現多傳感器的有效融合；其特征在于該方法的具體步驟如下：(1)傳感器信息質量優化，即通過變分自編碼器實現信息的降維與重構，變分自編碼的目標是在迭代過程中不斷優化損失函數，實現數據重構，得到傳感器重構樣本；(2)采用DenseNet實現傳感器重構樣本的多層次特征提取；(3)基于集成學習實現傳感器可靠度的衡量；(4)基于多傳感器間語義一致性解決異步采樣的問題，即通過找出不同傳感器之間語義關聯性最高的特征，利用協同矩陣分解的方法來學習多傳感器之間的潛在關聯語義得到傳感器的可靠度和哈希特征矩陣的特征融合；(5)基于傳感器的可靠度和哈希特征矩陣的特征融合，實現環境感知和障礙物識別；即將傳感器的可靠度與哈希碼進行點乘，并將點乘的向量輸入到神經網絡中，實現環境感知和障礙物識別。

所述步驟(1)中假設傳感器的采集原始數據為X，經過VAE變分自編碼器自動編碼后，形成原始數據的隱含變量Z，然后經過生成器實現樣本的重構，對傳感器信息質量的優化，通過不斷迭代，將“失真”的信息進行校正。

所述步驟(2)將步驟(1)生成的傳感器重構樣本采用DenseNe來實現多層次特征的提取。

所述步驟(3)中傳感器可靠度的衡量通過將每一個傳感器提取的多層次特征與其余的傳感器提取的特征的總體相關性進行衡量，來判斷該傳感器的可靠度；即在獲取可靠度δ的基礎上，將可靠度與閾值進行比較，剔除較低可靠度的傳感器。

所述步驟(4)中多傳感器之間的潛在關聯語義公式為：其中，X'表示多層次特征，B表示哈希碼集，U_X'和U_Y'是基于哈希碼集提取的特征矩陣。