[發明專利]一種基于視覺的室內語義地圖構建方法、裝置及設備

有效

• 申請號: 202110611104.6
• 申請日: 2021-06-02
• 公開（公告）號: CN113052152B
• 公開（公告）日: 2021-07-30
• 發明（設計）人: 張煜;王凱強;廖志勇;楊景照;王超;張萬鵬;李鑫;楊學科;蔣超遠
• 申請（專利權）人: 中國人民解放軍國防科技大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06T7/73;G06T7/11;G06T7/136;G06N3/04
• 代理公司: 長沙國科天河知識產權代理有限公司 43225
• 代理人: 邱軼

本申請涉及一種基于視覺的室內語義地圖構建方法、裝置和計算機設備。所述方法包括：通過相機攝像頭獲取室內環境的圖像數據流，根據圖像數據流通過預設的模型分別構建度量圖、區域劃分層、房間拓撲圖和對象層，將度量圖、對象層、區域劃分層和房間拓撲圖逐層級聯，完成基于視覺的室內語義地圖構建。本發明提出的基于視覺的室內語義地圖構建方法尤其適用于建立具有復雜語義信息的語義地圖，其包括了物體類別、屬性及物體之間的關系描述等語義信息，可以支撐復雜語義對象的檢索、匹配和推理等任務，進一步提高了無人平臺的感知能力和理解能力，增強了無人平臺執行任務的自主性和智能性。

技術領域

本申請涉及計算機技術領域，特別是涉及一種基于視覺的室內語義地圖構建方法、裝置和計算機設備。

背景技術

隨著地面無人平臺的迅速發展，尤其是室內服務機器人、工業物流調度小車等大規模應用，提升無人平臺在執行任務過程中對環境的感知理解能力和自主性顯得愈發重要和緊迫。語義地圖可以看作無人平臺對環境的形式化理解，該理解建立在無人平臺探知的環境信息，以及環境中實體的語義信息上。因此，構建一種包含更多語義信息的語義地圖，有利于無人平臺執行更加復雜的任務，同時能夠提高無人平臺的自主性和適應力。

關于環境中對象的語義信息，現有的方法已經能夠較為準確地識別對象的類別信息，然而在語義地圖的構建過程卻忽略了對象的屬性、對象之間關系的信息識別，導致語義地圖難以處理復雜語義對象的檢索、匹配和推理等具有挑戰性的任務。例如，針對“一個放在桌子上的靠近電腦的黑色杯子”，現有的語義地圖無法提供準確的檢索和匹配結果，因為地圖中缺失對象屬性、關系等語義信息。因此，現有語義地圖技術存在環境表達效果不佳的問題。

發明內容

基于此，有必要針對上述技術問題，提供一種能夠提高語義地圖環境表達效果的基于視覺的室內語義地圖構建方法、裝置、計算機設備和存儲介質。

一種基于視覺的室內語義地圖構建方法，所述方法包括：

通過相機攝像頭獲取室內環境的圖像數據流；所述圖像數據流包括色彩圖、深度圖、相機位姿信息、相機參數信息、無人平臺運動軌跡和姿態數據；

將所述圖像數據流輸入到預設的視覺SLAM模型中，構建所述室內環境的度量圖；

將所述圖像數據流輸入到預設的區域分割模型中，將所述室內環境劃分為獨立的房間，得到區域劃分層；

將不同區域的所述圖像數據流中的圖像信息輸入到預設的場景識別模型中，得到對應區域的場景類別標簽；根據所述區域劃分層和所述場景類別標簽，構建房間拓撲圖；

將所述圖像數據流輸入到預設的場景圖生成模型中，由所述圖像數據流中的單張圖像得到局部場景圖，由同一區域的多張局部場景圖得到所述區域的全局場景圖；將所述全局場景圖上的語義信息實時定位并標注在所述度量圖上，得到對象層；所述語義信息包括所述全局場景圖中檢測到的對象、所述對象的類別、所述對象的屬性和所述對象間的位置關系；

將所述度量圖、對象層、區域劃分層和房間拓撲圖逐層級聯，完成基于視覺的室內語義地圖構建。

在其中一個實施例中，還包括：將所述圖像數據流輸入到預設的基于神經網絡的視覺SLAM模型中，通過邊界搜索算法自動構建所述室內環境的度量圖；

將所述度量圖柵格化后進行存儲。

在其中一個實施例中，還包括：將所述圖像數據流輸入到預設的區域分割模型中，根據門、廊的寬度、布局、形狀的特征信息，通過基于特征匹配的傳統算法或基于深度網絡學習算法將所述室內環境劃分為獨立的房間，得到區域劃分層。

在其中一個實施例中，還包括：將不同區域的所述圖像數據流中的圖像信息輸入到預設的場景識別模型中，得到對應區域的場景類別標簽；所述場景識別模型為深度學習模型；