[發明專利]一種基于RGB-D數據融合的測距跟蹤方法

在審

• 申請號: 202211267876.3
• 申請日: 2022-10-17
• 公開（公告）號: CN115511917A
• 公開（公告）日: 2022-12-23
• 發明（設計）人: 陳恩慶;胡天生;梁靜;郭新;汪松;井中紀;王宏偉;張麗娟;張秀琳;朱廣磊
• 申請（專利權）人: 鄭州大學;河南信通智能物聯有限公司
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/30;G06T7/50;G06T7/70;G06T7/80;G06N3/04
• 代理公司: 北京東方盛凡知識產權代理有限公司 11562
• 代理人: 高天星

1.一種基于RGB-D數據融合的測距跟蹤方法，其特征在于，包括：

采集待檢測目標的RGB圖像和深度圖像，將所述RGB圖像輸入到改進的YOLOv5網絡模型中，對所述待檢測目標進行目標檢測和跟蹤，獲取跟蹤輸出結果；

將所述跟蹤輸出結果與所述深度圖像進行配準，獲得所述待檢測目標的距離信息。

2.根據權利要求1所述的基于RGB-D數據融合的測距跟蹤方法，其特征在于，采集所述待檢測目標的RGB圖像和深度圖像包括：

通過RGB-D相機采集所述RGB圖像，基于深度相機采集所述深度圖像，在使用所述RGB-D相機和所述深度相機進行采集之前，對相機的各項參數進行標定，并通過相機的空間分布信息，分別得到RGB-D相機坐標和深度相機坐標獲取到的圖像與真實世界的坐標對應關系。

3.根據權利要求1所述的基于RGB-D數據融合的測距跟蹤方法，其特征在于，所述改進的YOLOv5網絡模型中利用可分離卷積代替普通卷積，用于對特征數據進行遍歷和卷積操作；并將原始YOLOv5網絡模型中的CIOU損失函數替換為SIOU損失函數，用于提升模型檢測的準確度。

4.根據權利要求3所述的基于RGB-D數據融合的測距跟蹤方法，其特征在于，將所述RGB圖像輸入到改進的YOLOv5網絡模型中進行目標檢測，包括：

基于所述可分離卷積的方法對部分所述原始YOLOv5模型的組成模塊進行改進后，利用改進后的各模塊對所述RGB圖像進行特征信息的提取和壓縮；其中，所述特征信息的提取包括利用Focus結構將圖像信息由空間維度轉換為通道維度，使用不同的CSP結構對提取的特征信息進行拼接，利用SSP層分離上下文特征，通過FPN對特征圖進行融合以及利用金字塔結構采用拼接的方式融合特征，最終得到若干不同尺寸的特征圖，經替換后的SIoU損失函數進行篩選，得到檢測目標的分類信息以及所述檢測目標在圖像中的位置信息。

5.根據權利要求1所述的基于RGB-D數據融合的測距跟蹤方法，其特征在于，對所述待檢測目標進行目標跟蹤包括：

基于DeepSORT進行目標跟蹤，同時考慮待測目標間距和相似度特征，并對新生成的跟蹤軌跡采取驗證機制排除錯誤的預測結果，得到所述待測目標的邊界框信息，即所述跟蹤輸出結果；其中所述驗證機制包括卡爾曼預測和監測匹配失敗預測。

6.根據權利要求1所述的基于RGB-D數據融合的測距跟蹤方法，其特征在于，對所述跟蹤輸出結果與所述深度圖像進行配準包括：

基于RGB圖像像素點和實際坐標系的映射關系，對相機進行標定配準，獲取深度圖像像素點和所述實際坐標系的映射關系，其中，所述RGB圖像像素點和實際坐標系的映射關系為：

X_r,Y_r,Z_r分別為空間坐標系中點的位置坐標，x,y分別為以相機采光孔作為真實三維世界中坐標系的原點O_c，構成的O_c-X_cY_cZ_c三維坐標系下對應的目標點坐標p(X_w,Y_w,Z_w)映射到深度圖中點的位置坐標,M₂和M₁分別表示深度成像模塊的內部參數和外部參數。