[發明專利]一種礦井移動目標檢測與跟蹤識別方法

有效

• 申請號: 201711477567.8
• 申請日: 2017-12-29
• 公開（公告）號: CN108182413B
• 公開（公告）日: 2022-01-25
• 發明（設計）人: 張帆;崔東林
• 申請（專利權）人: 中國礦業大學（北京）
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/84;G06V10/82;G06N3/04;G06N3/08;G06K9/62
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種礦井移動目標檢測與跟蹤識別方法，其特征在于，采用基于機器視覺的加速區域卷積神經網絡算法，用于實現礦井人員、機車和移動機器人的目標檢測與跟蹤識別，包括如下步驟：

步驟1、制作訓練集：利用礦井視頻圖像采集設備采集礦井環境照片，把礦井移動目標的數字標簽作為身份標識符合成到環境照片，并對合成照片中數字標簽進行標注，將標注過的合成照片作為訓練集；

步驟2、構建并訓練加速區域卷積神經網絡Faster-RCNN：加速區域卷積神經網絡Faster-RCNN包括提取圖片特征的卷積層部分、區域建議網絡RPN的全連接層部分和目標檢測網絡Fast-RCNN的全連接層部分；其中，提取圖片特征的卷積層部分使用VGG16網絡，目標檢測網絡Fast-RCNN全連接層部分最后的分類層輸出設置為2，回歸層輸出設置為8；

步驟3、利用訓練好的加速區域卷積神經網絡Faster-RCNN對礦井視頻圖像采集設備采集的視頻幀進行處理，獲取視頻幀中的數字標簽區域；

步驟4、將步驟3獲取的數字標簽進行字符分割操作，獲取單個數字字符；

步驟5、將步驟4獲取的單個數字字符輸入數字識別模型LeNet網絡，進行數字識別；

步驟6、根據步驟5識別出的數字標簽確定礦井移動目標的身份信息；

步驟7、如果步驟3沒有在視頻幀中檢測到數字標簽區域，則重復執行步驟3～步驟6；

其特征還在于，步驟2進一步包括以下子步驟：

2.1)加速區域卷積神經網絡Faster-RCNN初始化：采用ImageNet預訓練模型VGG16網絡初始化區域建議網絡RPN的卷積層部分，采用零均值標準差為0.01的高斯分布初始化區域建議網絡RPN卷積層后面的全連接層部分，采用ImageNet預訓練模型VGG16網絡初始化目標檢測網絡Fast-RCNN的卷積層部分；

2.2)利用步驟1的訓練集對區域建議網絡RPN進行端到端的訓練，直到區域建議網絡RPN收斂為止；

2.3)使用收斂的區域建議網絡RPN生成建議框，并作為輸入用于單獨訓練目標檢測網絡Fast-RCNN，以及用于微調ImageNet預訓練模型VGG16網絡；

2.4)固定目標檢測網絡Fast-RCNN的卷積層部分的參數，利用步驟2.3)已訓練好的目標檢測網絡Fast-RCNN來訓練區域建議網絡RPN；

2.5)固定目標檢測網絡Fast-RCNN的卷積層部分的參數，根據步驟2.4)訓練出的區域建議網絡RPN生成建議框，并訓練目標檢測網絡Fast-RCNN全連接層部分的參數；

2.6)重復步驟2.4)和步驟2.5)，直到加速區域卷積神經網絡Faster-RCNN收斂為止。

2.根據權利要求1所述的一種礦井移動目標檢測與跟蹤識別方法，其特征在于，其中，所述步驟1中對數字標簽進行標注，指的是用矩形框框出合成照片中的數字標簽，并記錄每張合成照片中的數字標簽數目和每個數字標簽邊界框的四維坐標信息。

3.根據權利要求1所述的一種礦井移動目標檢測與跟蹤識別方法，其特征在于，其中，所述礦井視頻圖像采集設備包括礦用本安型視覺傳感器、礦用本安型相機和礦用本安型攝像機。