[發明專利]基于多任務神經網絡的視覺定位導航方法、系統及介質有效
| 申請號： | 202011499627.8 | 申請日： | 2020-12-18 |
| 公開（公告）號： | CN112507943B | 公開（公告）日： | 2023-09-29 |
| 發明（設計）人： | 劉小慧;魏武;余秋達;陳逸東 | 申請（專利權）人： | 華南理工大學 |
| 主分類號： | G06V20/56 | 分類號： | G06V20/56;G06V10/80;G06V10/82;G06V10/774;G06N3/0464 |
| 代理公司： | 廣州嘉權專利商標事務所有限公司 44205 | 代理人： | 常柯陽 |
| 地址： | 511458 廣東省廣州市*** | 國省代碼： | 廣東;44 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 基于 任務 神經網絡 視覺 定位 導航 方法 系統 介質 | ||
1.一種基于多任務神經網絡的視覺定位導航方法，其特征在于，包括以下步驟：
設計多任務神經網絡模型，所述多任務神經網絡模型能同時完成目標檢測與可通達語義地圖構建兩個任務；
采用開源數據集和自建數據集對所述多任務神經網絡模型進行訓練及調優，獲得最終的多任務神經網絡模型；
采用所述最終的多任務神經網絡模型來實現視覺定位導航；
所述多任務神經網絡模型包括全局特征提取基礎網絡、目標檢測任務分支網絡和可通達語義地圖構建任務分支網絡；
所述全局特征提取基礎網絡的中間卷積輸出作為所述可通達語義地圖構建任務分支網絡的輸入，所述全局特征提取基礎網絡的末端卷積輸出作為所述目標檢測任務分支網絡的輸入；
所述全局特征提取基礎網絡用于提取全局特征，提取到的所述全局特征與所述目標檢測任務分支網絡和所述可通達語義地圖構建任務分支網絡共享；
所述采用開源數據集和自建數據集對所述多任務神經網絡模型進行訓練及調優，包括：
在預訓練階段，采用網絡開源的訓練權重作為所述全局特征提取基礎網絡和所述目標檢測任務分支網絡的預權重，并將全局特征提取基礎網絡和目標檢測任務分支網絡冷卻不進行訓練；
采用Cityscapes開源數據集對所述可通達語義地圖構建任務分支網絡進行預訓練，其中，
初始迭代優化方法為Adam；
在模型調優階段，采用自建數據集對所述多任務神經網絡模型進行調優訓練，采用多任務融合損失函數對所有的網絡權重進行聯合訓練，直至模型收斂；
所述目標檢測任務分支網絡借助SSD目標檢測設計思想，并引入金字塔結構模型，實現細節特征與抽象特征的融合，所述目標檢測任務分支網絡用于完成目標分類和檢測邊框回歸。
2.根據權利要求1所述的一種基于多任務神經網絡的視覺定位導航方法，其特征在于，所述自建數據集通過以下方式獲得：
控制AGV小車在室外環境下運動，通過所述AGV小車自身搭建的攝像頭獲取視頻數據，獲取所述視頻數據中的圖像幀并進行保存；
采用標注工具對保存的所述圖像幀進行可通達區域標注和檢測目標標注，獲得自建數據集。
3.根據權利要求1所述的一種基于多任務神經網絡的視覺定位導航方法，其特征在于，在所述多任務神經網絡模型引入超參數α和β調節模型精度和計算，其中，超參數α用于控制可通達語義地圖構建任務分支網絡中間特征的深度，超參數β用于控制目標檢測任務分支網絡中間特征的深度。
4.根據權利要求3所述的一種基于多任務神經網絡的視覺定位導航方法，其特征在于，所述目標檢測任務分支網絡的損失函數為分類損失函數與邊框回歸損失函數的結合，且通過控制因子c調節比例；
所述目標檢測任務分支網絡的損失函數的表達式為：
其中，Lconf為分類損失函數，Lloc為邊框回歸損失函數。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于華南理工大學，未經華南理工大學許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202011499627.8/1.html，轉載請聲明來源鉆瓜專利網。
