[發明專利]一種基于神經網絡的巡檢機器人視覺檢測及跟蹤方法

在審

• 申請號: 202011409502.1
• 申請日: 2020-12-04
• 公開（公告）號: CN112528817A
• 公開（公告）日: 2021-03-19
• 發明（設計）人: 宋永端;黃力;談世磊;賴俊峰;劉歡;蔣自強;張杰;陳歡;吳將娛;龍鴻;胡芳;胡琴
• 申請（專利權）人: 重慶大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08;G06T7/246;G06T7/262
• 代理公司: 重慶信航知識產權代理有限公司 50218
• 代理人: 吳彬

1.一種基于神經網絡的巡檢機器人視覺檢測及跟蹤方法，包括步驟：

1)機器人在巡檢移動過程中使用攝像頭采集環境動態圖像；

2)使用機器人搭載的嵌入式系統對視頻圖像進行預處理；

其特征在于：還包括以下步驟：

3)使用目標檢測算法構建目標檢測器，將預處理后的圖像傳入目標檢測器，目標檢測器對圖像中人體和特定行為進行檢測，對滿足特定行為的人體目標記錄人體深度特征以及人體大小和位置信息；

4)使用目標跟蹤算法構建目標跟蹤器，調用目標跟蹤器跟蹤圖像中滿足特定行為的人體目標，并控制機器人攝像頭云臺轉動角度θ，使得跟蹤對象能夠時刻處于圖像的中心位置，并開啟測距傳感器獲取跟蹤對象與機器人相隔位置d；如果存在多個滿足特定行為的人體目標，選擇人體檢測框最大并且行為危險程度最高的人體目標作為跟蹤對象，以行為危險程度為優先考量準則；

5)使用機器人搭載的運動控制器控制機器人運動跟隨跟蹤對象；

6)當跟蹤目標長時間消失在畫面中時，重置目標檢測器和跟蹤器，并刪除人體目標，復位攝像頭云臺的位置。

2.根據權利要求1所述的基于神經網絡的巡檢機器人視覺檢測及跟蹤方法，其特征在于：在步驟2)中，使用機器人搭載的嵌入式系統對視頻圖像進行預處理，壓縮圖片尺寸為608*608，通道數為3的RGB格式。

3.根據權利要求1或2所述的基于神經網絡的巡檢機器人視覺檢測及跟蹤方法，其特征在于：

在步驟3)中，所述的目標檢測算法為yolov4算法；

在步驟4)中，所述的目標跟蹤算法包括：

上式中：f_s(x_i)是KCF核相關濾波算法使得樣本x_i與其目標y_s的均方差盡可能小的線性回歸函數；λ是正則化參數，其作用是控制過擬合；w是分類器參數；

通過核函數將樣本x_i投影到高維特征空間，KCF算法的嶺回歸中的分類器參數w在高維空間表示為：

其中，是映射函數，用來將樣本x_i映射到高維特征空間，將求解w的問題轉為求解分類器系數α的問題；分類器系數α＝{α₁,α₂,…,α_i,…}；同時核函數具有如下形式：

對基于最小二乘法給出的嶺回歸的解進行離散傅里葉變換，得到下式：

其中為生成向量，是訓練樣本x_i的核矩陣K＝[K_ij]_n×n的第一行，其中K_ij＝k(x_i,x_j)，i,j＝1,2,…,n，y是所有樣本x_i對應的期望y_s組成的集合，F(α)和F(y)分別表示系數α和期望集合y的離散傅里葉變換；

測試樣本z＝{z₁,z₂,…,z_n}是當前目標位置使用循環移位產生的樣本，由樣本x_i和樣本z_i構造核矩陣K^z＝[k(x_i,z_j)]，其中i,j＝1,2,…,n；

將核矩陣K^z進行傅里葉變換得到對角矩陣的形式，并代入回歸函數f_s(c_i)當中，計算所有由測試樣本z_i構造而成的候選樣本響應具有如下形式：

其中是核矩陣K^z的生成向量；構造32維HOG和11維CN特征組合成高維的新特征，通過PCA算法將高維的新特征降維成低維特征L_down以加速跟蹤算法確保運算的實時性；將特征L_down帶入式：中，得到人工特征響應

使用Densenet卷積神經網絡提取滿足特定行為的人體目標的深度特征，將Densenet各層卷積輸出特征帶入式：中，得到每層的深度特征響應其中i＝1,2，……n，表示卷積層的順序；進而得到一組響應特征圖的集合用表示第k層的目標預測位置，由于前一層的響應受到后一層響應的影響，因此第k-1層的目標預測位置表示為其中μ為正則化參數，深度特征響應

綜合人工特征響應和深度特征響應確定響應圖的最優分布，其中最大值的元素對應區域即為跟蹤對象：

對于上一幀中出現的跟蹤對象，當前幀中的預測位置由上述基于人工特征響應和深度特征響應的相關濾波器的最大響應圖確定，跟蹤對象在當前幀中的位置p如下所示，其中p_l為上一幀中跟蹤對象的位置，W和H分別為圖像的寬、高像素：