[發(fā)明專(zhuān)利]基于多任務(wù)學(xué)習(xí)的礦井下傳送帶狀態(tài)和人員檢測(cè)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202210081341.0
• 申請(qǐng)日: 2022-01-24
• 公開(kāi)（公告）號(hào): CN114463696A
• 公開(kāi)（公告）日: 2022-05-10
• 發(fā)明（設(shè)計(jì)）人: 韓宗芫;周祥東;張麗君
• 申請(qǐng)（專(zhuān)利權(quán)）人: 重慶郵電大學(xué)
• 主分類(lèi)號(hào): G06V20/52
• 分類(lèi)號(hào): G06V20/52;G06V20/40;G06N3/08;G06K9/62;G06V10/774;G06V10/82;G06V10/764
• 代理公司: 北京同恒源知識(shí)產(chǎn)權(quán)代理有限公司 11275
• 代理人: 廖曦

本發(fā)明涉及一種基于多任務(wù)學(xué)習(xí)的礦井下傳送帶狀態(tài)和人員檢測(cè)方法，屬于計(jì)算機(jī)領(lǐng)域。該方法包括以下步驟：S1：融合光流信息的視頻目標(biāo)檢測(cè)；S2：基于tow?stream方法的傳送帶狀態(tài)分類(lèi)；S3：基于多任務(wù)學(xué)習(xí)的礦井下人員和傳送帶狀態(tài)檢測(cè)方法的訓(xùn)練。本發(fā)明能利用視頻信息對(duì)傳送帶附近的生產(chǎn)違規(guī)行為進(jìn)行準(zhǔn)確的判斷，一方面利用前后多幀圖像光流信息對(duì)傳送帶狀態(tài)進(jìn)行判斷，另一方面再融合多幀圖像間的運(yùn)動(dòng)信息提高目標(biāo)檢測(cè)的性能。將這兩種任務(wù)結(jié)合起來(lái)提出了一種基于多任務(wù)學(xué)習(xí)的策略，來(lái)有效得對(duì)監(jiān)控視頻中的違規(guī)行為做出判斷。

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)領(lǐng)域，涉及基于多任務(wù)學(xué)習(xí)的礦井下傳送帶狀態(tài)和人員檢測(cè)方法。

背景技術(shù)

在煤礦生產(chǎn)中煤礦下傳送帶區(qū)域是一個(gè)危險(xiǎn)區(qū)域，在設(shè)備運(yùn)行時(shí)清理煤堆和浮煤，極易 造成機(jī)械設(shè)備傷人事故，造成傷殘甚至危及生命。為保證礦井和工作人員的安全，通過(guò)技術(shù) 手段對(duì)危險(xiǎn)區(qū)域入侵行為進(jìn)行識(shí)別并警示是很有必要的。然而，現(xiàn)有的危險(xiǎn)區(qū)域入侵檢測(cè)方 法僅對(duì)視頻中的人員進(jìn)行檢測(cè)，并未對(duì)危險(xiǎn)區(qū)域進(jìn)行判斷，以至于不能做出正確的分析和預(yù) 警。本發(fā)明提出的傳送帶狀態(tài)和人員檢測(cè)的方法利用深度學(xué)習(xí)的方式同時(shí)實(shí)現(xiàn)傳送帶的狀態(tài) 分析和人員位置的檢測(cè)。

目前傳送帶狀態(tài)和人員入侵檢測(cè)的比較成熟的方法一般是將傳感器的檢測(cè)和視頻檢測(cè)方 法結(jié)合使用。傳感器對(duì)環(huán)境要求比較高，這樣的技術(shù)可以適用于一般的視頻監(jiān)控系統(tǒng)場(chǎng)景， 但是無(wú)法適用于生產(chǎn)惡劣的煤礦環(huán)境。而視頻監(jiān)控系統(tǒng)在不同的環(huán)境下的表現(xiàn)比較魯棒，所 以提出一種基于監(jiān)控視頻的檢測(cè)方法對(duì)傳送帶的狀態(tài)進(jìn)行判斷。針對(duì)于傳送帶狀態(tài)的判斷， 傳統(tǒng)的方法是利于背景建模的方式來(lái)進(jìn)行判斷，但是背景建模的方法的缺陷是可以檢測(cè)視頻 中有物體移動(dòng)，而無(wú)法判斷是什么物體在移動(dòng)。

在過(guò)去的數(shù)十年中，目標(biāo)檢測(cè)取得了顯著成就。針對(duì)于視頻的目標(biāo)檢測(cè)，一般來(lái)說(shuō)都是 將視頻分為單幀圖像，再進(jìn)行檢測(cè)，比較典型的算法有yolov3和SSD算法，但運(yùn)動(dòng)模糊的圖像 內(nèi)容無(wú)法準(zhǔn)確檢測(cè)，針對(duì)于單階段的視頻目標(biāo)檢測(cè)來(lái)說(shuō)，一般是進(jìn)行后處理，將前后幾幀圖 像預(yù)測(cè)的檢測(cè)框進(jìn)行置信度的排序，然后取交并比最大的結(jié)果。但是這樣的方法只適用于物 體移動(dòng)較少的情景下，而在煤礦下，工人在區(qū)域內(nèi)頻繁的作業(yè)，位置變動(dòng)較大。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明的目的在于提供一種基于多任務(wù)學(xué)習(xí)的礦井下傳送帶狀態(tài)和人員檢測(cè) 方法。

為達(dá)到上述目的，本發(fā)明提供如下技術(shù)方案：

基于多任務(wù)學(xué)習(xí)的礦井下傳送帶狀態(tài)和人員檢測(cè)方法，該方法包括以下步驟：

S1：融合光流信息的視頻目標(biāo)檢測(cè)；

S2：基于tow-stream方法的傳送帶狀態(tài)分類(lèi)；

S3：基于多任務(wù)學(xué)習(xí)的礦井下人員和傳送帶狀態(tài)檢測(cè)方法的訓(xùn)練。

可選的，所述S1具體為：

對(duì)于輸入的幀序列I_t-n，……，I_t-1，I_t，I_t+1，……，I_t+n，對(duì)于每一幀圖像首先通過(guò)多層卷積提取對(duì)應(yīng)的圖像特征f_t，同時(shí)利用光流網(wǎng)絡(luò)F計(jì)算出兩幀之間的光流估計(jì)Δp，然后利 用雙線性插值算法W，將光流估計(jì)映射到對(duì)應(yīng)的特征中的q位置上：

Δp＝F(I_t-n，I_t)(p)

f_t-n→t＝W(f_t-1，f(I_t-1，I_t))

在獲得附近幀的特征f_i→t后，對(duì)這些特征進(jìn)行求平均，作為具有時(shí)間和空間特征的新特征 放到目標(biāo)檢測(cè)中：