[發(fā)明專利]一種礦下電機(jī)車障礙物智能視覺檢測方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202310537526.2
• 申請(qǐng)日: 2023-05-12
• 公開（公告）號(hào): CN116630741A
• 公開（公告）日: 2023-08-22
• 發(fā)明（設(shè)計(jì)）人: 張細(xì)政;崔子健;侯英俊;盧張宇;袁小芳;申永鵬;張鳴;方偲忱;楊明昊;宋安然
• 申請(qǐng)（專利權(quán)）人: 湖南工程學(xué)院;湘潭南方電機(jī)車制造有限公司
• 主分類號(hào): G06V10/774
• 分類號(hào): G06V10/774;G06V10/764;G06V10/77;G06V10/80;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 長沙市護(hù)航專利代理事務(wù)所(特殊普通合伙) 43220
• 代理人: 莫曉齊

1.一種礦下電機(jī)車障礙物智能視覺檢測方法，其特征在于，包括如下步驟：

步驟S1：采集影響電機(jī)車正常運(yùn)行的障礙物的圖像數(shù)據(jù)，并建立數(shù)據(jù)集，包括訓(xùn)練數(shù)據(jù)集及驗(yàn)證數(shù)據(jù)集，用于后續(xù)的模型訓(xùn)練，訓(xùn)練集用于訓(xùn)練模型，驗(yàn)證集用于驗(yàn)證訓(xùn)練好的模型；

步驟S2：基于改進(jìn)的YOLOv5網(wǎng)絡(luò)，構(gòu)建礦下電機(jī)車障礙物檢測模型；

步驟S3：利用步驟S1中的訓(xùn)練數(shù)據(jù)集及驗(yàn)證集，訓(xùn)練步驟S2中的礦下電機(jī)車障礙物檢測模型，得到訓(xùn)練后的礦下電機(jī)車障礙物檢測模型；

步驟S4：利用步驟S1中的驗(yàn)證數(shù)據(jù)集，對(duì)步驟S3中訓(xùn)練后的礦下電機(jī)車障礙物檢測模型進(jìn)行性能評(píng)估。

2.根據(jù)權(quán)利要求1所述的一種礦下電機(jī)車障礙物智能視覺檢測方法，其特征在于，所述步驟S1具體包括以下步驟：

步驟S11：采集不同時(shí)間段影響電機(jī)車正常運(yùn)行的障礙物視頻，讀取視頻并對(duì)視頻進(jìn)行抽幀、清洗處理，以此得到圖像數(shù)據(jù)作為原始圖像數(shù)據(jù)，并建立原始圖像數(shù)據(jù)集；

步驟S12：根據(jù)檢測對(duì)象，對(duì)原始圖像數(shù)據(jù)中包含的障礙物種類進(jìn)行分類處理，得到不同障礙物種類的原始圖片；在礦下電機(jī)車運(yùn)輸場景中，將檢測對(duì)象分為大塊煤炭、工人、枕木、油桶、電機(jī)車、斗車這6類影響電機(jī)車安全運(yùn)行的主要交通障礙；

步驟S13：根據(jù)不同的交通障礙，將各不同種類障礙物的原始圖像數(shù)據(jù)通過標(biāo)注軟件labelImg進(jìn)行標(biāo)注，得到6種不同的障礙物數(shù)據(jù)集，將每種障礙物數(shù)據(jù)集按8：2的比例劃分為訓(xùn)練數(shù)據(jù)集與驗(yàn)證數(shù)據(jù)集。

3.根據(jù)權(quán)利要求1中所述的一種礦下電機(jī)車障礙物智能視覺檢測方法，其特征在于，所述步驟S2中，改進(jìn)的YOLOv5網(wǎng)絡(luò)具體包括：

步驟S21：通過引入注意力機(jī)制的方式對(duì)YOLOv5模型進(jìn)行改進(jìn)：在Neck網(wǎng)絡(luò)中添加CBAM機(jī)制加強(qiáng)特征信息關(guān)聯(lián)；卷積注意力機(jī)制模塊包括兩個(gè)子模塊，通道注意模塊和空間注意模塊，分別執(zhí)行特征注意和空間注意；具體為：

原圖輸入特征F∈R^C**通過通道注意模塊M_C，輸出一維卷積M_C∈R^C**,將一維卷積結(jié)果與原圖輸入特征F的相乘結(jié)果，作為空間注意模塊輸入特征圖(F₁)，二維卷積M_S∈R^1**W與原圖相乘結(jié)果F₁相乘得到最終輸出結(jié)果，其數(shù)學(xué)表達(dá)式如下：

獲取通道注意模塊M_C的輸出特征圖：M_C(F)

獲取空間注意模塊M_S的輸入特征圖：

獲取最終輸出結(jié)果：

其中，C表示通道，H表示圖片高度，W表示圖片寬度，R表示圖片，M_C表示通道注意力，S表示空間，M_S表示空間注意力模塊的二維卷積，M_C表示通道注意模塊的一維卷積，F(xiàn)₁為通道注意模塊輸出特征圖M_C(F)與原圖相乘結(jié)果，即空間注意模塊的輸入特征圖，M_C(F)表示對(duì)原圖輸入特征F通過通道注意模塊的輸出特征圖，M_S(F₁)表示對(duì)空間注意模塊M_S的輸入特征F₁通過空間注意模塊，所獲得的的輸出特征圖。