[發明專利]基于語義分割的圖像特征提取方法、裝置及SLAM系統

在審

• 申請號: 202211463962.1
• 申請日: 2022-11-22
• 公開（公告）號: CN115731385A
• 公開（公告）日: 2023-03-03
• 發明（設計）人: 童清;宮成業
• 申請（專利權）人: 中國電子科技南湖研究院
• 主分類號: G06V10/26
• 分類號: G06V10/26;G06T7/136;G06T5/00;G06T7/246;G06T3/40;G06T17/00;G06V10/54
• 代理公司: 中國和平利用軍工技術協會專利中心 11215
• 代理人: 劉光德

1.一種基于語義分割的圖像特征提取方法，其特征在于，包括：

獲取RGB圖像，對圖像進行語義分割以剔除圖像中的動態物體；

將經過動態物體剔除的圖像劃分為圖像塊，基于信息熵提取所述圖像塊中的紋理明顯的第一圖像塊集以及紋理不明顯的第二圖像塊集，并對所述第二圖像塊集中的圖像塊進行對比度增強處理；

對所述第一圖像塊集的圖像塊以及經過對比度增強處理的所述第二圖像塊集中的圖像塊進行特征點提取。

2.根據權利要求1所述的圖像特征提取方法，其特征在于，所述對圖像進行語義分割以剔除圖像中的動態物體，包括：為RGB圖像上對應動態物體的色塊添加蒙版。

3.根據權利要求1所述的圖像特征提取方法，其特征在于，將剔除動態物體后的RGB圖像轉換為灰度圖，并以預定的縮放因子對灰度圖進行降采樣處理，以擴展成圖像金字塔，將圖像金字塔的每層圖像劃分為圖像塊，計算各圖像塊的信息熵e，并將信息熵e與信息熵閾值e0作比較，根據比較結果，將所述圖像塊劃分第一圖像塊集和第二圖像塊集。

4.根據權利要求1所述的圖像特征提取方法，其特征在于，采用FAST特征點提取算法提取出所述特征點，并對提取出的特征點進行均勻化處理，以及對均勻化處理后的特征點進行BRIEF描述，生成特征點的二進制描述子。

5.一種基于語義分割的圖像特征提取方法，其特征在于，包括：

獲取語義圖片序列，所述語義圖片序列為對RGB圖像進行語義分割以剔除圖像中的動態物體后得到的語義圖像；

將所述語義圖像劃分為圖像塊，基于信息熵提取所述圖像塊中的紋理明顯的第一圖像塊集以及紋理不明顯的第二圖像塊集，并對所述第二圖像塊集中的圖像塊進行對比度增強處理；

對所述第一圖像塊集的圖像塊以及經過對比度增強處理的所述第二圖像塊集中的圖像塊進行特征點提取。

6.一種基于語義分割的圖像特征提取裝置，其特征在于，包括：

圖像分割模塊，用于對獲取的RGB圖像進行語義分割以剔除圖像中的動態物體；

圖像劃分模塊，用于將經過動態物體剔除的圖像劃分為圖像塊，基于信息熵提取所述圖像塊中的紋理明顯的第一圖像塊集以及紋理不明顯的第二圖像塊集；

圖像增強模塊，用于對所述第二圖像塊集中的圖像塊進行對比度增強處理；

特征點提取模塊，用于對所述第一圖像塊集的圖像塊以及經過對比度增強處理的所述第二圖像塊集中的圖像塊進行特征點提取。

7.一種基于語義分割的圖像特征提取裝置，其特征在于，包括：

輸入端口，用于獲取語義圖片序列，所述語義圖片序列為對RGB圖像進行語義分割以剔除圖像中的動態物體后得到的語義圖像；

圖像劃分模塊，用于將所述語義圖像劃分為圖像塊，基于信息熵提取所述圖像塊中的紋理明顯的第一圖像塊集以及紋理不明顯的第二圖像塊集；

圖像增強模塊，用于對所述第二圖像塊集中的圖像塊進行對比度增強處理；

特征點提取模塊，用于對所述第一圖像塊集的圖像塊以及經過對比度增強處理的所述第二圖像塊集中的圖像塊進行特征點提取。

8.一種視覺SLAM方法，其特征在于，包括：

獲取二維圖像序列和深度圖像序列；

提取所述二維圖像序列中相鄰兩幀圖像的特征點；

基于所述特征點利用光束法平差和最近點迭代計算相機運動軌跡；

提取所述二維圖像序列中的關鍵幀圖像，將每張關鍵幀圖像的特征點投影到三維空間作為地圖點以生成三維稀疏點云地圖，以及將三維稀疏點云地圖基于所述相機運動軌跡進行拼接，以得到三維稠密點云地圖；

基于所述三維稠密點云地圖，通過計算空間柵格占用率生成三維語義八叉樹地圖。