[發明專利]基于多任務神經網絡的視覺定位導航方法、系統及介質

有效

• 申請號: 202011499627.8
• 申請日: 2020-12-18
• 公開（公告）號: CN112507943B
• 公開（公告）日: 2023-09-29
• 發明（設計）人: 劉小慧;魏武;余秋達;陳逸東
• 申請（專利權）人: 華南理工大學
• 主分類號: G06V20/56
• 分類號: G06V20/56;G06V10/80;G06V10/82;G06V10/774;G06N3/0464
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 常柯陽

本發明公開了一種基于多任務神經網絡的視覺定位導航方法、系統及介質，其中方法包括：設計多任務神經網絡模型，所述多任務神經網絡模型能同時完成目標檢測與可通達語義地圖構建兩個任務；采用開源數據集和自建數據集對所述多任務神經網絡模型進行訓練及調優，獲得最終的多任務神經網絡模型；采用所述最終的多任務神經網絡模型來實現視覺定位導航。本發明使用的多任務神經網絡模型相較單任務網絡可提高卷積神經網絡的復用率，減小模型的體積并降低計算時延，能夠更準確快速地完成AGV視覺定位導航中的目標檢測與可通達地圖構建分割任務，可廣泛應用于計算機視覺技術領域。

技術領域

本發明涉及計算機視覺技術領域，尤其涉及一種基于多任務神經網絡的視覺定位導航方法、系統及介質。

背景技術

最早應用于倉儲物流業的AGV智能車(Automated?Guided?Vehicle，簡稱AGV，通常也稱為AGV小車)，隨著人工智能，深度學習技術的不斷發展，借助深度學習的優勢，逐漸實現高度智能化，并走進了尋常百姓家。

AGV視覺定位導航借助視覺傳感器模仿人的眼睛感知周圍環境，可將其分為目標檢測定位與可通達地圖構建兩個任務，傳統視覺定位算法使用人工特征或模型識別算法將圖像空間的高維狀態轉化為機器人能理解的低維狀態，再利用機器人運動學或動力學求解。傳統的視覺定位導航方法存在兩個關鍵問題：1)對圖像理解能力差且理解層次較低，對于關鍵信息提取的過程易受室外環境中的非結構化因素影響；2)從高維空間到低維空間的映射造成大量特征信息丟失。由此造成在室外非結構化環境中，機器人無法實現所處環境的真實表達，使得魯棒性變差，精度降低。

發明內容

為至少一定程度上解決現有技術中存在的技術問題之一，本發明的目的在于提供一種基于多任務神經網絡的視覺定位導航方法、系統及介質。

本發明所采用的技術方案是：

一種基于多任務神經網絡的視覺定位導航方法，包括以下步驟：

設計多任務神經網絡模型，所述多任務神經網絡模型能同時完成目標檢測與可通達語義地圖構建兩個任務；

采用開源數據集和自建數據集對所述多任務神經網絡模型進行訓練及調優，獲得最終的多任務神經網絡模型；

采用所述最終的多任務神經網絡模型來實現視覺定位導航。

進一步，所述自建數據集通過以下方式獲得：

控制AGV小車在室外環境下運動，通過所述AGV小車自身搭建的攝像頭獲取視頻數據，獲取所述視頻數據中的圖像幀并進行保存；

采用標注工具對保存的所述圖像幀進行可通達區域標注和檢測目標標注，獲得自建數據集。

進一步，所述多任務神經網絡模型包括全局特征提取基礎網絡、目標檢測任務分支網絡和可通達語義地圖構建任務分支網絡；

所述全局特征提取基礎網絡的中間卷積輸出作為所述可通達語義地圖構建任務分支網絡的輸入，所述全局特征提取基礎網絡的末端卷積輸出作為所述目標檢測任務分支網絡的輸入；

所述全局特征提取基礎網絡用于提取全局特征，提取到的所述全局特征與所述目標檢測任務分支網絡和所述可通達語義地圖構建任務分支網絡共享。

進一步，在所述多任務神經網絡模型引入超參數α和β調節模型精度和計算，其中，超參數α用于控制可通達語義地圖構建任務分支網絡中間特征的深度，超參數β用于控制目標檢測任務分支網絡中間特征的深度。

進一步，所述目標檢測任務分支網絡的損失函數為分類損失函數與邊框回歸損失函數的結合，且通過控制因子c調節比例；

所述目標檢測任務分支網絡的損失函數的表達式為：