[發明專利]一種基于圖像融合和特征增強的煤礦井下行人檢測方法

在審

• 申請號: 202210980531.6
• 申請日: 2022-08-16
• 公開（公告）號: CN115311241A
• 公開（公告）日: 2022-11-08
• 發明（設計）人: 鄒盛;周李兵;陳曉晶;季亮;于政乾;王天宇;趙葉鑫;王國慶;郝大彬;黃小明;楊華;盧東貴
• 申請（專利權）人: 天地（常州）自動化股份有限公司;中煤科工集團常州研究院有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T5/50;G06T5/30;G06V10/44;G06V10/77;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 常州至善至誠專利代理事務所(普通合伙) 32409
• 代理人: 劉宇

1.一種基于圖像融合和特征增強的煤礦井下行人檢測方法，其特征在于，包括以下步驟：

第1步驟、深度圖像和紅外圖像的融合處理：深度圖像和紅外圖像兩者的融合采用TIF算法，通過圖像分解、圖像融合、圖像重構三個步驟實現；對融合后的圖像進行形態學處理；

第2步驟、構建目標邊緣特征增強的CornerNet-Squeeze行人目標檢測網絡：CornerNet-Squeeze行人目標檢測網絡在CornerNet網絡基礎上結合SqueezeNet網絡，使用SqueezeNet網絡中的fire模塊代替了CornerNet網絡中的Res殘差模塊；在CornerNet-Squeeze行人目標檢測網絡中引入八度卷積OctConv處理主干網絡后高低頻特征信息的特征增強模塊，形成改進后的CornerNet-Squeeze行人目標檢測網絡；

第3步驟、建立井下紅外深度圖像融合行人檢測數據集，訓練目標邊緣特征增強的CornerNet-Squeeze行人目標檢測模型：將紅外相機和深度相機安裝在防爆無軌膠輪車車頂，充分采集煤礦井下行人數據，對采集的深度圖像和紅外圖像進行配準對齊，采用第1步驟中的融合處理方法形成融合圖像；對深度圖像、紅外圖像及兩者融合后的融合圖像采用標注軟件進行人工標注，得到三種數據集，三種數據集分別為深度圖像訓練數據集、紅外圖像訓練數據集和融合圖像訓練數據集；將三種數據集劃分為訓練集和測試集，訓練目標邊緣特征增強的CornerNet-Squeeze行人目標檢測模型；

第4步驟、本安型邊緣計算設備部署目標邊緣特征增強的CornerNet-Squeeze行人目標檢測模型，在測試集驗證效果：將改進的目標邊緣特征增強CornerNet-Squeeze算法和原始CornerNet-Squeeze算法分別在深度圖像訓練數據集、紅外圖像訓練數據集和融合圖像訓練數據集上訓練得到模型在本安型邊緣計算設備進行部署測試和驗證。

2.根據權利要求1所述的一種基于圖像融合和特征增強的煤礦井下行人檢測方法，其特征在于：所述圖像分解是將對齊后同樣大小的紅外圖像和深度圖像使用均值濾波器分別獲得圖像的基礎層和細節層。

3.根據權利要求1所述的一種基于圖像融合和特征增強的煤礦井下行人檢測方法，其特征在于：在所述圖像融合中，對于基礎層圖像的融合采用算術平均策略融合。

4.根據權利要求1所述的一種基于圖像融合和特征增強的煤礦井下行人檢測方法，其特征在于：在所述圖像融合中，對于細節層圖像的融合使用加權平均的策略進行融合。

5.根據權利要求1所述的一種基于圖像融合和特征增強的煤礦井下行人檢測方法，其特征在于：在所述圖像重構中，將融合后的深度圖像和紅外圖像的基礎層、深度圖像和紅外圖像的細節層直接相加得到最終深度圖像和紅外圖像的融合圖像。

6.根據權利要求1所述的一種基于圖像融合和特征增強的煤礦井下行人檢測方法，其特征在于：在融合圖像形態學處理中，采用先腐蝕后膨脹形態學開運算處理融合后的圖像。

7.根據權利要求1所述的一種基于圖像融合和特征增強的煤礦井下行人檢測方法，其特征在于，在CornerNet-Squeeze主干網絡后引入八度卷積OctConv的特征增強模塊，具體處理步驟如下：

第2.1步驟、對主干網絡提取的特征圖進行卷積操作降維處理；

第2.2步驟、降維后的特征圖采用OctConv分離融合高低頻特征信息；

第2.3步驟、對輸出的高頻信息經過反卷積操作，還原特征尺寸。