[發明專利]一種基于RGB-D數據融合的測距跟蹤方法

在審

• 申請號: 202211267876.3
• 申請日: 2022-10-17
• 公開（公告）號: CN115511917A
• 公開（公告）日: 2022-12-23
• 發明（設計）人: 陳恩慶;胡天生;梁靜;郭新;汪松;井中紀;王宏偉;張麗娟;張秀琳;朱廣磊
• 申請（專利權）人: 鄭州大學;河南信通智能物聯有限公司
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/30;G06T7/50;G06T7/70;G06T7/80;G06N3/04
• 代理公司: 北京東方盛凡知識產權代理有限公司 11562
• 代理人: 高天星

本發明涉及一種基于RGB?D數據融合的測距跟蹤方法，包括：采集待檢測目標的RGB圖像和深度圖像，將所述RGB圖像輸入到改進的YOLOv5網絡模型中，對所述待檢測目標進行目標檢測和跟蹤，獲取跟蹤輸出結果；將所述跟蹤輸出結果與所述深度圖像進行配準，獲得所述待檢測目標的距離信息。本發明利用RGB圖像實現目標檢測與跟蹤，將目標跟蹤階段生成的預測框映射到深度相機采集的深度圖像中，完成對目標的測距和跟隨。

技術領域

本發明涉及目標檢測與跟蹤技術領域，特別是涉及一種基于RGB-D數據融合的測距跟蹤方法。

背景技術

YOLOv5模型雖然相對于前幾代YOLO模型性能最佳，但仍然無法在大多數嵌入式設備上部署，主要原因還是嵌入式設備的算力不支持，因此在模型輕量化問題上還有待改進，而上述專利中加入的注意力機制雖然可對檢測精度進行提升，但同時也帶來了模型參數量和復雜度的增加，因此更加不適合在嵌入式設備中進行部署。

單目測距雖然在部署和實現上比較簡單，但由于其是先通過圖像匹配進行目標識別(各種車型、行人、物體等)，再通過目標在圖像中的大小去估算目標距離，因此必須不斷更新和維護一個龐大的樣本數據庫，才能保證系統達到較高的識別率；無法對非標準障礙物進行判斷；距離并非真正意義上的測量，準確度較低，另外其受光照等環境因素影響較大。而基于激光雷達的測距雖然能在各方面表現出良好的效果，但目前激光雷達的價格仍然十分昂貴，對于一些普通的應用場景，應用激光雷達性價比太低。

發明內容

本發明的目的是將通過神經網絡實現的目標跟蹤應用于一般的嵌入式設備中，在面向一般的跟蹤場景時，考慮到算力及性價比的問題，提出一種基于RGB-D數據融合的測距跟蹤方法。

為實現上述目的，本發明提供了如下方案：

一種基于RGB-D數據融合的測距跟蹤方法，包括：

采集待檢測目標的RGB圖像和深度圖像，將所述RGB圖像輸入到改進的YOLOv5網絡模型中，對所述待檢測目標進行目標檢測和跟蹤，獲取跟蹤輸出結果；

將所述跟蹤輸出結果與所述深度圖像進行配準，獲得所述待檢測目標的距離信息。

優選地，采集所述待檢測目標的RGB圖像和深度圖像包括：

通過RGB-D相機采集所述RGB圖像，基于深度相機采集所述深度圖像，在使用所述RGB-D相機和所述深度相機進行采集之前，對相機的各項參數進行標定，并通過相機的空間分布信息，分別得到RGB-D相機坐標和深度相機坐標獲取到的圖像與真實世界的坐標對應關系。

優選地，所述改進的YOLOv5網絡模型中利用可分離卷積代替普通卷積，用于對特征數據進行遍歷和卷積操作；并將原始YOLOv5網絡模型中的CIOU損失函數替換為SIOU損失函數，用于提升模型檢測的準確度。

優選地，將所述RGB圖像輸入到改進的YOLOv5網絡模型中進行目標檢測，包括：

基于所述可分離卷積的方法對部分所述原始YOLOv5模型的組成模塊進行改進后，利用改進后的各模塊對所述RGB圖像進行特征信息的提取和壓縮；其中，所述特征信息的提取包括利用Focus結構將圖像信息由空間維度轉換為通道維度，使用不同的CSP結構對提取的特征信息進行拼接，利用SSP層分離上下文特征，通過FPN對特征圖進行融合以及利用金字塔結構采用拼接的方式融合特征，最終得到若干不同尺寸的特征圖，經替換后的SIoU損失函數進行篩選，得到檢測目標的分類信息以及所述檢測目標在圖像中的位置信息。

優選地，對所述待檢測目標進行目標跟蹤包括：

基于DeepSORT進行目標跟蹤，同時考慮待測目標間距和相似度特征，并對新生成的跟蹤軌跡采取驗證機制排除錯誤的預測結果，得到所述待測目標的邊界框信息，即所述跟蹤輸出結果；其中所述驗證機制包括卡爾曼預測和監測匹配失敗預測。