[發(fā)明專利]一種礦井移動(dòng)目標(biāo)檢測(cè)與跟蹤識(shí)別方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201711477567.8
• 申請(qǐng)日: 2017-12-29
• 公開（公告）號(hào): CN108182413B
• 公開（公告）日: 2022-01-25
• 發(fā)明（設(shè)計(jì)）人: 張帆;崔東林
• 申請(qǐng)（專利權(quán)）人: 中國(guó)礦業(yè)大學(xué)（北京）
• 主分類號(hào): G06V20/40
• 分類號(hào): G06V20/40;G06V10/84;G06V10/82;G06N3/04;G06N3/08;G06K9/62
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明公開了一種礦井移動(dòng)目標(biāo)檢測(cè)與跟蹤識(shí)別方法，第一步，制作訓(xùn)練集，通過采集礦井環(huán)境照片，把礦井移動(dòng)目標(biāo)的數(shù)字標(biāo)簽作為身份識(shí)別符合成到環(huán)境照片中，并對(duì)合成照片中數(shù)字標(biāo)簽進(jìn)行標(biāo)注，將標(biāo)注過的合成照片作為訓(xùn)練集；第二步，構(gòu)建加速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)Faster?RCNN，并用訓(xùn)練集訓(xùn)練出可用于數(shù)字標(biāo)簽檢測(cè)的加速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)Faster?RCNN模型；第三步，將采集到的視頻經(jīng)過處理后輸入訓(xùn)練好的加速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)Faster?RCNN模型，檢測(cè)出數(shù)字標(biāo)簽區(qū)域的邊界框；第四步，將邊界框內(nèi)的數(shù)字標(biāo)簽區(qū)域進(jìn)行字符分割操作，獲得數(shù)字序列的每一個(gè)數(shù)字字符，并依次傳入數(shù)字識(shí)別模型LeNet網(wǎng)絡(luò)進(jìn)行數(shù)字識(shí)別；第五步，LeNet網(wǎng)絡(luò)返回識(shí)別出的數(shù)字序列，依據(jù)識(shí)別出的礦井移動(dòng)目標(biāo)數(shù)字標(biāo)簽確定礦井移動(dòng)目標(biāo)身份信息。本發(fā)明能準(zhǔn)確、有效地對(duì)礦井移動(dòng)目標(biāo)進(jìn)行檢測(cè)與跟蹤識(shí)別。

技術(shù)領(lǐng)域

本發(fā)明涉及機(jī)器視覺與礦井移動(dòng)目標(biāo)檢測(cè)的智能識(shí)別領(lǐng)域，具體地說涉及一種基于機(jī)器視覺的加速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)礦井移動(dòng)目標(biāo)檢測(cè)與跟蹤識(shí)別方法。

背景技術(shù)

智能化開采是礦井安全、高效集約化生產(chǎn)的發(fā)展趨勢(shì)，研究井下作業(yè)人員、機(jī)車設(shè)備和作業(yè)機(jī)器人等移動(dòng)目標(biāo)準(zhǔn)確檢測(cè)與跟蹤識(shí)別，對(duì)保障井下人員避險(xiǎn)、車輛防撞和智能安全開采具有重要意義。現(xiàn)有礦井人員、井下機(jī)車和移動(dòng)機(jī)器人等移動(dòng)目標(biāo)識(shí)別方法主要采用靜態(tài)的射頻識(shí)別技術(shù)，但是這種方式通過礦井RFID射頻識(shí)別技術(shù)只能進(jìn)行井下移動(dòng)目標(biāo)的進(jìn)出識(shí)別，無法實(shí)現(xiàn)對(duì)移動(dòng)目標(biāo)的多維信息檢測(cè)與跟蹤識(shí)別，尤其是在井下NLOS環(huán)境存在多徑干擾，受電磁波傳播衰減和傳播時(shí)延影響較大，難以實(shí)現(xiàn)對(duì)礦井移動(dòng)目標(biāo)進(jìn)行實(shí)時(shí)跟蹤與準(zhǔn)確識(shí)別。近年來，基于機(jī)器視覺的跟蹤與識(shí)別技術(shù)具有識(shí)別精度高、抗干擾能力強(qiáng)和可遠(yuǎn)距離獲取目標(biāo)圖像等特點(diǎn)，其在智能監(jiān)控、運(yùn)動(dòng)目標(biāo)檢測(cè)與識(shí)別、視覺導(dǎo)航等領(lǐng)域的應(yīng)用成為研究熱點(diǎn)。因此，為了克服現(xiàn)有礦井移動(dòng)目標(biāo)識(shí)別技術(shù)的不足，本發(fā)明提出采用基于機(jī)器視覺的加速卷積神經(jīng)網(wǎng)絡(luò)方法，實(shí)現(xiàn)對(duì)礦井移動(dòng)目標(biāo)準(zhǔn)確檢測(cè)與跟蹤識(shí)別。

發(fā)明內(nèi)容

本發(fā)明所采用的技術(shù)方案是：針對(duì)上述存在的問題，提出一種基于機(jī)器視覺的礦井移動(dòng)目標(biāo)檢測(cè)與跟蹤識(shí)別方法，用于實(shí)現(xiàn)礦井人員、機(jī)車和機(jī)器人移動(dòng)目標(biāo)的檢測(cè)與跟蹤識(shí)別。所述礦井移動(dòng)目標(biāo)檢測(cè)與跟蹤識(shí)別方法，其實(shí)現(xiàn)步驟包括：

步驟1、制作訓(xùn)練集：利用礦井視頻圖像采集設(shè)備采集礦井環(huán)境照片，把礦井移動(dòng)目標(biāo)的數(shù)字標(biāo)簽作為身份標(biāo)識(shí)符合成到環(huán)境照片，并對(duì)合成照片中數(shù)字標(biāo)簽進(jìn)行標(biāo)注，將標(biāo)注過的合成照片作為訓(xùn)練集；

步驟2、構(gòu)建并訓(xùn)練加速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)Faster-RCNN：加速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)Faster-RCNN包括提取圖片特征的卷積層部分、區(qū)域建議網(wǎng)絡(luò)RPN的全連接層部分和目標(biāo)檢測(cè)網(wǎng)絡(luò)Fast-RCNN的全連接層部分；其中，提取圖片特征的卷積層部分使用VGG16網(wǎng)絡(luò)，目標(biāo)檢測(cè)網(wǎng)絡(luò)Fast-RCNN全連接層部分最后的分類層輸出設(shè)置為2，回歸層輸出設(shè)置為8；

步驟3、利用訓(xùn)練好的加速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)Faster-RCNN對(duì)礦井視頻圖像采集設(shè)備采集的視頻幀進(jìn)行處理，獲取視頻幀中的數(shù)字標(biāo)簽區(qū)域；

步驟4、將步驟3獲取的數(shù)字標(biāo)簽進(jìn)行字符分割操作，獲取單個(gè)數(shù)字字符；

步驟5、將步驟4獲取的單個(gè)數(shù)字字符輸入數(shù)字識(shí)別模型LeNet網(wǎng)絡(luò)，進(jìn)行數(shù)字識(shí)別；

步驟6、根據(jù)步驟5識(shí)別出的數(shù)字標(biāo)簽確定礦井移動(dòng)目標(biāo)的身份信息。

步驟7、如果步驟3沒有在視頻幀中檢測(cè)到數(shù)字標(biāo)簽區(qū)域，則重復(fù)執(zhí)行步驟3～步驟6。

所述礦井移動(dòng)目標(biāo)檢測(cè)與跟蹤識(shí)別方法，其中，步驟2進(jìn)一步包括以下子步驟：

2.1)加速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)Faster-RCNN初始化：采用ImageNet預(yù)訓(xùn)練模型VGG16網(wǎng)絡(luò)初始化區(qū)域建議網(wǎng)絡(luò)RPN的卷積層部分，采用零均值標(biāo)準(zhǔn)差為0.01的高斯分布初始化區(qū)域建議網(wǎng)絡(luò)RPN卷積層后面的全連接層部分，采用ImageNet預(yù)訓(xùn)練模型VGG16網(wǎng)絡(luò)初始化目標(biāo)檢測(cè)網(wǎng)絡(luò)Fast-RCNN的卷積層部分；