[發明專利]一種基于視覺的室內語義地圖構建方法、裝置及設備

有效

• 申請號: 202110611104.6
• 申請日: 2021-06-02
• 公開（公告）號: CN113052152B
• 公開（公告）日: 2021-07-30
• 發明（設計）人: 張煜;王凱強;廖志勇;楊景照;王超;張萬鵬;李鑫;楊學科;蔣超遠
• 申請（專利權）人: 中國人民解放軍國防科技大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06T7/73;G06T7/11;G06T7/136;G06N3/04
• 代理公司: 長沙國科天河知識產權代理有限公司 43225
• 代理人: 邱軼

1.一種基于視覺的室內語義地圖構建方法，其特征在于，所述方法包括：

通過相機攝像頭獲取室內環境的圖像數據流；所述圖像數據流包括色彩圖、深度圖、相機位姿信息、相機參數信息、無人平臺運動軌跡和姿態數據；

將所述圖像數據流輸入到預設的基于神經網絡的視覺SLAM模型中，通過邊界搜索算法自動構建所述室內環境的度量圖，將所述度量圖柵格化后進行存儲；

將所述圖像數據流輸入到預設的區域分割模型中，將所述室內環境劃分為獨立的房間，得到區域劃分層；

將不同區域的所述圖像數據流中的圖像信息輸入到預設的場景識別模型中，得到對應區域的場景類別標簽；根據所述區域劃分層和所述場景類別標簽，構建房間拓撲圖；

將所述圖像數據流輸入到預設的場景圖生成模型中，由所述圖像數據流中的單張圖像得到局部場景圖，由同一區域的多張局部場景圖得到所述區域的全局場景圖；將所述全局場景圖上的語義信息實時定位并標注在所述度量圖上，得到對象層；所述語義信息包括所述全局場景圖中檢測到的對象、所述對象的類別、所述對象的屬性和所述對象間的位置關系；

將所述度量圖、對象層、區域劃分層和房間拓撲圖逐層級聯，完成基于視覺的室內語義地圖構建。

2.根據權利要求1所述的方法，其特征在于，將所述圖像數據流輸入到預設的區域分割模型中，將所述室內環境劃分為獨立的房間，得到區域劃分層，包括：

將所述圖像數據流輸入到預設的區域分割模型中，根據門、廊的寬度、布局、形狀的特征信息，通過基于特征匹配的傳統算法或基于深度網絡學習算法將所述室內環境劃分為獨立的房間，得到區域劃分層。

3.根據權利要求1所述的方法，其特征在于，將不同區域的所述圖像數據流中的圖像信息輸入到預設的場景識別模型中，得到對應區域的場景類別標簽；根據所述區域劃分層和所述場景類別標簽，構建房間拓撲圖，包括：

將不同區域的所述圖像數據流中的圖像信息輸入到預設的場景識別模型中，得到對應區域的場景類別標簽；所述場景識別模型為深度學習模型；

根據所述區域劃分層和所述場景類別標簽，構建房間拓撲圖；所述房間拓撲圖由邊和節點構成，所述節點為所述區域劃分層中的具體房間節點或兩個相連區域的區域連接節點，所述邊表示從一個節點到另一個節點所需要的導航行為以及距離，所述導航行為為指引所述無人平臺從一個節點到另一個節點的規則信息。

4.根據權利要求1所述的方法，其特征在于，將所述圖像數據流輸入到預設的場景圖生成模型中，由所述圖像數據流中的單張圖像得到局部場景圖，由同一區域的多張局部場景圖得到所述區域的全局場景圖，包括：

將所述圖像數據流輸入到預設的場景圖生成模型中，由同一區域的圖像序列中提取關鍵幀；任意兩個所述關鍵幀的重合度在預設的閾值之內；

通過區域候選網絡得到所述關鍵幀中的對象候選區域；

為所述對象候選區域中的對象建立全連接圖，任意兩個對象之間設有雙向邊，所述雙向邊表示兩個對象之間的關系，所述邊的特征通過所連接的兩個對象候選區域的聯合框提取；

通過第一神經網絡預測所述對象的類別和所述對象的屬性，根據所述對象的類別和所述對象的屬性，通過第二神經網絡預測對象間的位置關系；

根據所述對象的類別、所述對象的屬性和所述對象間的位置關系，得到局部場景圖；

由同一區域的多張所述局部場景圖得到所述區域的全局場景圖。

5.根據權利要求4所述的方法，其特征在于，由同一區域的多張所述局部場景圖得到所述區域的全局場景圖，包括：

將所述關鍵幀中的第一幀圖像對應的局部場景圖作為初始化的全局場景圖；

根據圖像特征計算后續局部場景圖中新增對象節點與所述全局場景圖中已有對象節點的相似度；

刪除重復對象節點，將所述局部場景圖中新出現的對象節點及屬性添加到全局場景圖中，最后得到所述區域的全局場景圖。