[發明專利]基于視覺SLAM的室內場景下單一目標物體字典模型改進方法

有效

• 申請號: 201810860165.4
• 申請日: 2018-08-01
• 公開（公告）號: CN109165680B
• 公開（公告）日: 2022-07-26
• 發明（設計）人: 張小國;劉啟漢;鄭冰清;王慧青
• 申請（專利權）人: 東南大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06T7/80;G06V10/772;G06V10/762
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 柏尚春

本發明公開了一種基于視覺SLAM的室內場景下單一目標物體字典模型改進方法：對于進行視覺SLAM的單目或雙目相機進行基礎標定，獲得內參信息后對環境進行檢測和前端同步定位與建圖，得到點云地圖；根據周邊環境與單一目標物體相關特征制作圖片數據集，利用DBoW2庫k?means++算法生成數據集對應的單詞；進行TF?IDF相似度計算劃分單詞權值，設定閾值，進行歸零化處理，得到單一目標物體字典改進模型；將該改進模型結合到SLAM系統的后端優化中，通過對點云地圖點在圖像幀上的投影與實際像素坐標進行最小化投影誤差。本發明優化了在室內場景下對于單一目標物體的回環檢測的發現與點云地圖的閉環融合，為一些類別環境下特定單一目標物體的同步定位與建圖提供了較大的便利。

技術領域

本發明涉及圖像處理方法，尤其涉及一種基于視覺SLAM的室內場景下單一目標物體字典模型改進方法。

背景技術

隨著我國經濟的快速發展與工業水平的提升，對于進一步提升生產力水平的需求愈為迫切，因此一系列自動化程度較高的機器人在諸多行業的應用都取得了長足進步。由于視覺SLAM技術對于設備的要求不高、成本較低并且在室內定位與建圖精度良好，能夠幫助機器人快速識別周邊環境與特定物體，因此例如在室內家務機器人、快遞自動分揀機器人、工業裝配機器人等等領域均有廣泛的應用。

與此同時，當前的視覺SLAM技術受限于對室內家務、快遞分揀等場景的細化研究不足，導致對物體的處理仍較多關注于點、邊等局部特征，對于物體類別、結構等信息的關注不足。對于物體語義類別劃分與相互聯系的視覺SLAM系統的研究目前正處于初步階段，由于各類工業應用場景的不同，導致指定類別劃分的方法也不盡相同，還未能有可產業化的算法。因此研究在室內場景下結合目標物體信息的兼顧效率與準確度的視覺SLAM算法的需求日益凸顯。

發明內容

發明目的：針對現有技術存在的問題，本發明的目的在于提供一種能夠解決室內場景下現有開源視覺SLAM算法存在跟蹤目標時易丟失、復雜場景下的實時性不足、工作效率不高并且易受環境因素影響而精度不高等問題的基于視覺SLAM的室內場景下單一目標物體字典模型改進方法，為一些類別環境下的特定單一目標物體的同步定位與建圖提供了較大的便利。

技術方案：一種基于視覺SLAM的室內場景下單一目標物體字典模型改進方法，包括如下步驟：

(1)對于進行視覺SLAM的單目或雙目相機進行基礎標定，獲得內參信息后利用該相機對環境進行檢測并進行前端同步定位與建圖，通過三維特征點得到未經過后端優化的點云地圖；

(2)根據周邊環境與單一目標物體相關特征制作圖片數據集，并利用DBoW2庫k-means++算法生成數據集對應的單詞，為室內場景下視覺SLAM對單一目標物體建立的點云地圖進行回環檢測做準備；

(3)針對單一目標物體生成的單詞進行TF-IDF相似度計算劃分單詞權值，根據對檢測周邊環境閉環貢獻程度的高低設定閾值，對于與單一目標物體有關的部分單詞進行歸零化處理，得到單一目標物體字典改進模型；

(4)將改進后的字典模型結合到SLAM系統的后端優化中，通過對點云地圖點在圖像幀上的投影與實際像素坐標進行最小化投影誤差，優化在室內場景下對于單一目標物體的回環檢測的發現與點云地圖的閉環融合，提高定位與建圖精度。

所述步驟(1)中，對一臺單目相機進行標定，獲得內參信息，同時通過視覺SLAM前端進行同步定位與建圖，具體步驟為：

(1.1)以環境內的一張黑白棋盤格作為標定物，通過調整標定物與各個相機的方向，為標定物拍攝一些不同方向的照片，并從照片中提取棋盤格角點；

(1.2)設周邊環境中某空間點P的相機坐標為[X,Y,Z]^T,其中，X,Y,Z分別為相機在三維空間立體坐標系中的坐標，則在相機模型中根據三角形相似關系得到成像平面內對應成像點P′坐標為f為相機焦距；