[發明專利]一種基于多粒度物體模型的室內語義地圖構建方法及系統

有效

• 申請號: 202110326761.6
• 申請日: 2021-03-26
• 公開（公告）號: CN112991534B
• 公開（公告）日: 2022-09-30
• 發明（設計）人: 陳宗海;林士琪;王紀凱;徐萌;周路鵬;包鵬;戴德云;趙皓
• 申請（專利權）人: 中國科學技術大學
• 主分類號: G06T17/05
• 分類號: G06T17/05
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 江亞平

1.一種基于多粒度物體模型的室內語義地圖構建方法，其特征在于，包括：

步驟S1：采集環境數據，得到RGB圖像，并對所述RGB圖像進行實例分割，得到物體的二維RGB圖像和對應的深度圖；

步驟S2：根據所述二維RGB圖像和對應的深度圖，生成物體的稠密點云；

步驟S3：通過對所述物體的二維RGB圖像進行特征提取，并進行幀間的特征匹配，計算相機位姿；結合相機位姿，采用三維體素融合多幀的所述稠密點云，獲得所述物體的初始三維體素模型；

步驟S4：通過占據概率建模、聚類和連通區域分析相結合的方式去除體素外點，得到所述物體的精確三維體素模型，具體包括：

步驟S41：根據所述物體的初始三維體素模型的各個三維體素單元被傳感器的觀測情況，對其被占據的可能性進行建模，刪除低于預設占據概率閾值的所述三維體素單元；

步驟S42：采用聚類方法，刪除離散小規模的三維體素單元簇，采用連通區域分析方法，去除孤立的三維體素單元簇，得到所述物體的精確三維體素模型；

步驟S5：基于所述物體的精確三維體素模型，構建所述物體的長方體模型；獲得由所述物體精確三維體素模型和所述物體的長方體組模型組成的多粒度物體語義地圖，具體包括：

步驟S51：根據所述物體的精確三維體素模型，以長方體內空閑空間比最小為標準，通過離散采樣的方式，構建所述物體的初始長方體模型；并根據所述物體的初始長方體模型，采用粒子群優化算法對所述初始長方體模型進行優化，最終得到所述物體的長方體模型；

步驟S52：由所述物體的精確三維體素模型和所述物體的長方體模型，共同構成多粒度物體語義地圖。

2.根據權利要求1所述的基于多粒度物體模型的室內語義地圖構建方法，其特征在于，所述步驟S1：對所述RGB圖像進行實例分割，具體包括：

基于所述RGB圖像，對所述RGB圖像中的物體進行識別和像素級標注。

3.根據權利要求1所述的基于多粒度物體模型的室內語義地圖構建方法，其特征在于，所述步驟S2：根據所述二維RGB圖像和對應的深度圖，生成物體的稠密點云，具體包括：

根據所述物體的二維RGB圖像和對應的深度圖，結合相機成像模型，將所述物體的二維RGB圖像投影到三維空間，得到所述物體的稠密點云。

4.根據權利要求1所述的基于多粒度物體模型的室內語義地圖構建方法，其特征在于，所述步驟S3：通過對所述物體的二維RGB圖像進行特征提取，并進行幀間的特征匹配，計算相機位姿；結合相機位姿，采用三維體素融合多幀的所述稠密點云，獲得所述物體的初始三維體素模型，具體包括：

步驟S31：將所述物體的二維RGB圖像轉換為灰度圖，在所述灰度圖上提取穩定特征作為關鍵點，并在所述關鍵點周圍區域提取特征描述子；

步驟S32：根據所述特征描述子，實現當前幀與上一幀圖像間的特征匹配，去除特征之間的誤匹配，得到精確的3D-2D特征對應關系，并根據該對應關系，計算當前相機位姿；

步驟S33：根據所述相機位姿，采用三維體素，融合多幀所述稠密點云，獲得所述物體的初始三維體素模型。

5.一種基于多粒度物體模型的室內語義地圖構建系統，其特征在于，包括下述模塊：

數據采集及處理模塊，用于采集環境數據，得到RGB圖像，并對所述RGB圖像進行實例分割，得到物體的二維RGB圖像和對應的深度圖；

稠密點云生成模塊，用于根據所述二維RGB圖像和對應的深度圖，生成物體的稠密點云；

初始三維體素模型生成模塊，用于通過對所述物體的二維RGB圖像進行特征提取，并進行幀間的特征匹配，計算相機位姿；結合相機位姿，采用三維體素融合多幀的所述稠密點云，獲得所述物體的初始三維體素模型；

精確三維體素模型生成模塊，用于通過占據概率建模、聚類和連通區域分析相結合的方式去除體素外點，得到所述物體的精確三維體素模型；具體包括：根據所述物體的初始三維體素模型的各個三維體素單元被傳感器的觀測情況，對其被占據的可能性進行建模，刪除低于預設占據概率閾值的所述三維體素單元；采用聚類方法，刪除離散小規模的三維體素單元簇，采用連通區域分析方法，去除孤立的三維體素單元簇，得到所述物體的精確三維體素模型；

物體語義地圖生成模塊，用于基于所述物體的精確三維體素模型，構建所述物體的長方體模型；獲得由所述物體精確三維體素模型和所述物體的長方體組模型組成的多粒度物體語義地圖，具體包括：根據所述物體的精確三維體素模型，以長方體內空閑空間比最小為標準，通過離散采樣的方式，構建所述物體的初始長方體模型；并根據所述物體的初始長方體模型，采用粒子群優化算法對所述初始長方體模型進行優化，最終得到所述物體的長方體模型；由所述物體的精確三維體素模型和所述物體的長方體模型，共同構成多粒度物體語義地圖。