[發明專利]基于視覺SLAM的室內場景下單一目標物體字典模型改進方法

有效

• 申請號: 201810860165.4
• 申請日: 2018-08-01
• 公開（公告）號: CN109165680B
• 公開（公告）日: 2022-07-26
• 發明（設計）人: 張小國;劉啟漢;鄭冰清;王慧青
• 申請（專利權）人: 東南大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06T7/80;G06V10/772;G06V10/762
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 柏尚春

1.一種基于視覺SLAM的室內場景下單一目標物體字典模型改進方法，其特征在于，包括如下步驟：

(1)對于進行視覺SLAM的單目或雙目相機進行基礎標定，獲得內參信息后利用該相機對環境進行檢測并進行前端同步定位與建圖，通過三維特征點得到未經過后端優化的點云地圖；

(2)根據周邊環境與單一目標物體相關特征制作圖片數據集，并利用DBoW2庫k-means++算法生成數據集對應的單詞；

(3)針對單一目標物體生成的單詞進行TF-IDF相似度計算劃分單詞權值，根據對檢測周邊環境閉環貢獻程度的高低設定閾值，對于與單一目標物體有關的部分單詞進行歸零化處理，得到單一目標物體字典改進模型，具體包括：

(3.1)對于圖片數據集中圖片經過篩選得到的單詞通過TF-IDF相似度計算劃分權值：

其中，IDF_i表示字典中某聚類中心葉子節點即單詞ω_i中特征數量n_i相對于所有特征數量n的比值，表示某單詞在字典中出現的頻率；

TF_i表示某特征在一張圖片中出現的頻率，n為該圖片中出現單詞的總個數，n_i為單詞ω_i在該圖片中呈現的次數；進而得到ω_i在字典中的權重為：

η_i＝TF_i×IDF_i

(3.2)在圖片數據集中對任意一張圖片I，通過對應的單詞以及單詞的權重構建向量描述該圖像I，表達式如下：

通過對比數據集中任兩張圖片的向量來比較兩者的相似性：

若s(v₁,v₂)p_s，其中p_s為相似度閾值，則在這兩張圖片中比較圖片權重向量模值將其中權重模值較小的圖片剔除；之后重新計算剔除相似圖片后的圖片數據集的單詞以及單詞權重；

(3.3)生成的字典中，對于單一目標物體，考慮其在周邊環境中出現頻率較高，對于檢測到周邊環境閉環的貢獻較低，進行如下運算：

若有：η_i＝TF_i×IDF_i≤P

則：η_i＝0

其中，P為可調整的單詞權重閾值；

(4)將改進后的字典模型結合到SLAM系統的后端優化中，通過對點云地圖點在圖像幀上的投影與實際像素坐標進行最小化投影誤差。

2.根據權利要求1所述的基于視覺SLAM的室內場景下單一目標物體字典模型改進方法，其特征在于，所述步驟(1)中，對一臺單目相機進行標定，獲得內參信息，同時通過視覺SLAM前端進行同步定位與建圖，具體步驟為：

(1.1)以環境內的一張黑白棋盤格作為標定物，通過調整標定物與各個相機的方向，為標定物拍攝一些不同方向的照片，并從照片中提取棋盤格角點；

(1.2)設周邊環境中某空間點P的相機坐標為[X,Y,Z]^T,其中，X,Y,Z分別為相機在三維空間立體坐標系中的坐標，則在相機模型中根據三角形相似關系得到成像平面內對應成像點P′坐標為f為相機焦距；

將該點轉換到像素坐標[U,V]，有K即為相機內參矩陣；

根據實際情況，合理選擇校正參數k₁、k₂、p₁、p₂、p₃，對相機基礎標定的計算中的徑向畸變與切向畸變進行糾正；

(1.3)由相機拍攝得到關鍵幀序列設為{F_key}，根據關鍵幀提取得到圖像的特征點；其次通過前后兩幀關鍵幀圖像構建對極約束；最后根據相機位姿的變化，通過對極幾何約束與特征點投影對周邊環境進行定位與建圖。