[發明專利]一種基于深度學習的機器人語義地圖物體識別方法

在審

• 申請號: 202011189866.3
• 申請日: 2020-10-30
• 公開（公告）號: CN112288857A
• 公開（公告）日: 2021-01-29
• 發明（設計）人: 王曉華;李耀光;王文杰;張蕾;蘇澤斌
• 申請（專利權）人: 西安工程大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T7/11;G06K9/00;G06N3/04;G06N3/08
• 代理公司: 西安弘理專利事務所 61214
• 代理人: 涂秀清

本發明公開了一種基于深度學習的機器人語義地圖物體識別方法，具體步驟包括；步驟1：實時采集周圍環境每一幀圖像信息，選取圖像關鍵幀；步驟2：通過卷積神經網絡對選取的圖像關鍵幀進行目標檢測，提取語義信息；步驟3：對步驟2輸出的檢測后的關鍵幀圖像，利用三維點云分割方法，完成對三維點云物體級別的分割；步驟4：將步驟3的分割模塊與步驟2的檢測模塊融合進ORB_SLAM2視覺SLAM框架中，得到包含物體信息的三維語義地圖。本發明解決了現有技術中存在機器人無法理解環境中物品高層語義信息，識別地圖中的物體的問題。

技術領域

本發明屬于人工智能技術領域，涉及一種基于深度學習的機器人語義地圖物體識別方法。

背景技術

隨著科學技術的發展和生活水平的提高，機器人逐漸進入到人們的日常生活。但是目前的機器人通常采用基于同時定位地圖構建技術(Simultaneous Localization andMapping，SLAM)來構建包含幾何信息的稀疏路標地圖，僅僅能夠用于執行導航定位任務。這種情況下，機器人無法理解環境中物品高層語義信息，識別地圖中的物體。因此，將SLAM和物體檢測識別技術結合起來，構建包含物體語義信息的語義地圖成為了一個行之有效的解決方案。高效的語義SLAM是智能機器人系統實現在未知環境下進行自主定位、環境導航和智能搜索等高級任務的基礎。

發明內容

本發明的目的是提供一種基于深度學習的機器人語義地圖物體識別方法，解決了現有技術中存在機器人無法理解環境中物品高層語義信息，識別地圖中的物體的問題。

本發明所采用的技術方案是，一種基于深度學習的機器人語義地圖物體識別方法，具體包括如下步驟：

步驟1：實時采集周圍環境每一幀圖像信息，選取圖像關鍵幀；

步驟2：通過卷積神經網絡對選取的圖像關鍵幀進行目標檢測，提取語義信息；

步驟3：對步驟2輸出的檢測后的關鍵幀圖像，利用三維點云分割方法，完成對三維點云物體級別的分割；

步驟4：將步驟3的分割模塊與步驟2的檢測模塊融合進ORB_SLAM2視覺SLAM框架中，得到包含物體信息的三維語義地圖。

本發明的特點還在于：

步驟1中使用RGB-D視覺傳感器實時采集環境圖像信息；步驟1中選取圖像關鍵幀的具體過程為：在10～15幀圖像中，把圖像質量好、特征點數量充足、特征點分布均勻的一幀圖像當作關鍵。

步驟2中目標檢測的具體過程為：

步驟2.1：制作帶有物體標記的數據集；利用圖像標注工具LableImg對圖像樣本進行標注；將不同物體用文本框打上標簽，生成符合網絡格式的標注文件；

步驟2.2：設置網絡超參數對YOLOV3-tiny改進網絡進行訓練，得到合適的網絡模型；

步驟2.3：將選取的圖像關鍵幀送入YOLO模型中，進行對物體的目標檢測，得到物體所在的位置和分類概率。

步驟3中點云分割方法的具體過程為：

步驟3.1：在SLAM過程中使用GrabCut算法對步驟2輸出的關鍵幀圖像進行二維目標分割；

步驟3.2：利用改進VCCS算法進行三維點云分割；

步驟3.3：利用點云分割結果剔除掉點云中不屬于目標的像素點，完成物體級別的三維點云分割。

步驟3.1的具體過程為：

步驟3.1.1：在關鍵幀圖片中定義一個或者多個包含物體的矩形，矩形外的區域被自動認為是背景；

步驟3.1.2：用高斯混合模型來對背景和前景建模，并將未定義的像素標記為可能的前景或者背景；