[發(fā)明專利]一種基于圖像融合和特征增強(qiáng)的煤礦井下行人檢測(cè)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202210980531.6
• 申請(qǐng)日: 2022-08-16
• 公開（公告）號(hào): CN115311241A
• 公開（公告）日: 2022-11-08
• 發(fā)明（設(shè)計(jì)）人: 鄒盛;周李兵;陳曉晶;季亮;于政乾;王天宇;趙葉鑫;王國(guó)慶;郝大彬;黃小明;楊華;盧東貴
• 申請(qǐng)（專利權(quán)）人: 天地（常州）自動(dòng)化股份有限公司;中煤科工集團(tuán)常州研究院有限公司
• 主分類號(hào): G06T7/00
• 分類號(hào): G06T7/00;G06T5/50;G06T5/30;G06V10/44;G06V10/77;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 常州至善至誠(chéng)專利代理事務(wù)所(普通合伙) 32409
• 代理人: 劉宇

本發(fā)明公開了一種基于圖像融合和特征增強(qiáng)的煤礦井下行人檢測(cè)方法，包括以下步驟：第1步驟、深度圖像和紅外圖像的融合處理；第2步驟、構(gòu)建目標(biāo)邊緣特征增強(qiáng)的CornerNet?Squeeze行人目標(biāo)檢測(cè)網(wǎng)絡(luò)；第3步驟、建立井下紅外深度圖像融合行人檢測(cè)數(shù)據(jù)集，訓(xùn)練目標(biāo)邊緣特征增強(qiáng)的CornerNet?Squeeze行人目標(biāo)檢測(cè)模型；第4步驟、本安型邊緣計(jì)算設(shè)備部署目標(biāo)邊緣增強(qiáng)的CornerNet?Squeeze行人檢測(cè)模型，在測(cè)試集驗(yàn)證效果。該種基于圖像融合和目標(biāo)邊緣特征增強(qiáng)的煤礦井下行人檢測(cè)方法，用以提高井下低照度復(fù)雜環(huán)境的多尺度行人目標(biāo)的檢測(cè)能力。

技術(shù)領(lǐng)域

本發(fā)明涉及煤礦井下行人檢測(cè)的技術(shù)領(lǐng)域，尤其是一種基于圖像融合和特征增強(qiáng)的煤礦井下行人檢測(cè)方法。

背景技術(shù)

基于機(jī)器視覺的行人檢測(cè)方法采用攝像裝置獲取視頻圖像，通過圖像處理算法對(duì)目標(biāo)信息進(jìn)行檢測(cè)和分析，并用于后續(xù)跟蹤任務(wù)，在視頻監(jiān)控、無人駕駛車輛、智能機(jī)器人等領(lǐng)域發(fā)揮了重要作用。在智能化礦井建設(shè)中，采用機(jī)器視覺技術(shù)對(duì)長(zhǎng)距離膠帶沿線、封閉巷道入口、斜巷等危險(xiǎn)區(qū)域進(jìn)行行人檢測(cè)，對(duì)于提高煤礦安全生產(chǎn)管理水平、防范人身傷亡事故具有重要的意義。但井下的視頻圖像環(huán)境復(fù)雜，光線暗淡，噪聲干擾大，且井下監(jiān)控?cái)z像頭一般安裝在高處，導(dǎo)致視頻圖像中的行人存在尺寸偏小、分辨率低、尺度變化、行人重疊等問題。因井下環(huán)境的特殊性，面臨行人目標(biāo)檢測(cè)常見的多尺度、遮擋、低照度等多種因素的挑戰(zhàn)，研究井下低照度等復(fù)雜環(huán)境多尺度目標(biāo)行人魯棒性識(shí)別是一個(gè)亟待解決的問題，對(duì)保障井下安全生產(chǎn)具有重要意義和應(yīng)用價(jià)值。

傳統(tǒng)的行人檢測(cè)算法，如HOG+SVM、ICF+AdaBoost、DPM等，主要依賴于人工設(shè)計(jì)特征，特征單一且主觀性強(qiáng)，泛化能力差，難以適用于井下低照度、粉塵等特殊工況環(huán)境下的多尺度行人目標(biāo)檢測(cè)。隨著深度學(xué)習(xí)人工智能算法的不斷更迭發(fā)展，通過大規(guī)模數(shù)據(jù)集訓(xùn)練學(xué)習(xí)，主動(dòng)提取特征，解決了由于傳統(tǒng)方法人工提取特征導(dǎo)致的模型魯棒性差的問題。

深度學(xué)習(xí)行人目標(biāo)檢測(cè)算法主要分為two-stage和one-stage兩類，前者 two-stage主要是基于區(qū)域生成目標(biāo)候選框，再進(jìn)行分類回歸，以R-CNN、Fast R-CNN、Faster R-CNN等為代表，取得了比傳統(tǒng)檢測(cè)方法更好的結(jié)果，雖取得更高的檢測(cè)精度，但檢測(cè)效率較低；后者one-stage則直接采用端到端的訓(xùn)練網(wǎng)絡(luò)，無需生成候選框，一個(gè)網(wǎng)絡(luò)實(shí)現(xiàn)結(jié)果輸出，主要包括SSD系列、YOLO系列、 CornerNet系列等；CornerNet系列具有可以與兩階段檢測(cè)器相媲美的檢測(cè)精度，同時(shí)可避免SSD系列、YOLO系列因采用的anchor-box機(jī)制引入太多超參數(shù)而增加計(jì)算量的問題，且目標(biāo)的檢測(cè)轉(zhuǎn)換為對(duì)目標(biāo)關(guān)鍵點(diǎn)的檢測(cè)，使用沙漏特征提取網(wǎng)絡(luò)(Hourglass)作為骨干網(wǎng)絡(luò)，通過目標(biāo)左上角點(diǎn)與右下角點(diǎn)確定邊界框位置，省略生成錨框的步驟。

發(fā)明內(nèi)容

本發(fā)明旨在至少解決現(xiàn)有技術(shù)中存在的技術(shù)問題之一。

為此，本發(fā)明提出一種基于圖像融合和特征增強(qiáng)的煤礦井下行人檢測(cè)方法，用以提高井下低照度復(fù)雜環(huán)境的多尺度行人目標(biāo)的檢測(cè)能力。

根據(jù)本發(fā)明實(shí)施例的一種基于圖像融合和特征增強(qiáng)的煤礦井下行人檢測(cè)方法，包括以下步驟：

第1步驟、深度圖像和紅外圖像的融合處理：深度圖像和紅外圖像兩者的融合采用TIF算法，通過圖像分解、圖像融合、圖像重構(gòu)三個(gè)步驟實(shí)現(xiàn)；對(duì)融合后的圖像進(jìn)行形態(tài)學(xué)處理；

第2步驟、構(gòu)建目標(biāo)邊緣特征增強(qiáng)的CornerNet-Squeeze行人目標(biāo)檢測(cè)網(wǎng)絡(luò)：CornerNet-Squeeze行人目標(biāo)檢測(cè)網(wǎng)絡(luò)在CornerNet網(wǎng)絡(luò)基礎(chǔ)上結(jié)合 SqueezeNet網(wǎng)絡(luò)，使用SqueezeNet網(wǎng)絡(luò)中的fire模塊代替了CornerNet網(wǎng)絡(luò)中的Res殘差模塊；在CornerNet-Squeeze行人目標(biāo)檢測(cè)網(wǎng)絡(luò)中引入八度卷積 OctConv處理主干網(wǎng)絡(luò)后高低頻特征信息的特征增強(qiáng)模塊，形成改進(jìn)后的CornerNet-Squeeze行人目標(biāo)檢測(cè)網(wǎng)絡(luò)；