[發(fā)明專利]一種純視覺(jué)的綜采工作面智能輔助控制方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202310209984.3
• 申請(qǐng)日: 2023-03-07
• 公開(kāi)（公告）號(hào): CN116489306A
• 公開(kāi)（公告）日: 2023-07-25
• 發(fā)明（設(shè)計(jì)）人: 羅開(kāi)成;崔科飛;許軍;李紅衛(wèi);陳偉;朱朋飛;王立強(qiáng);毛旭東;云俊文;王振濤
• 申請(qǐng)（專利權(quán)）人: 國(guó)能神東煤炭集團(tuán)有限責(zé)任公司;鄭州恒達(dá)智控科技股份有限公司
• 主分類號(hào): H04N7/18
• 分類號(hào): H04N7/18;G08B21/02;G06V20/40;G06V10/82;G06V10/774
• 代理公司: 鄭州德勤知識(shí)產(chǎn)權(quán)代理有限公司 41128
• 代理人: 蘇志洋

1.一種純視覺(jué)的綜采工作面智能輔助控制方法，其特征在于：包括流媒體服務(wù)模塊、視頻跟蹤檢測(cè)模塊、智能分析模塊和集控模塊；

所述流媒體服務(wù)模塊用于從多路攝像設(shè)備采集視頻流數(shù)據(jù)，并對(duì)多路視頻流數(shù)據(jù)進(jìn)行解碼、合并后放入視頻流緩存區(qū)；

所述視頻跟蹤檢測(cè)模塊通過(guò)以下步驟對(duì)視頻流緩存區(qū)的視頻流數(shù)據(jù)進(jìn)行目標(biāo)識(shí)別：

目標(biāo)檢測(cè)：從視頻流獲取當(dāng)前幀數(shù)據(jù)S₁，送入已訓(xùn)練完成的YOLOv4神經(jīng)網(wǎng)絡(luò)算法模型中進(jìn)行目標(biāo)檢測(cè)，從而獲取到所識(shí)別到目標(biāo)的targrt1、target2、target3、...；

樣本獲取：從幀數(shù)據(jù)S₁別到的目標(biāo)中以目標(biāo)1.5倍大小截取出訓(xùn)練樣本sample1、sample2、sapmple3、...；

濾波器訓(xùn)練：利用訓(xùn)練樣本sample1、sample2、sapmple3、...，結(jié)合帶有空間正則化的背景感知相關(guān)濾波算法學(xué)習(xí)得到跟蹤器SR_BACF1、SR_BACF2、SR_BACF3、...；

所述的結(jié)合帶有空間正則化的背景感知相關(guān)濾波算法得到的跟蹤器的目標(biāo)函數(shù)表示如下：

其中，D表示樣本的大小；x為訓(xùn)練樣本；y為訓(xùn)練標(biāo)簽；w為跟蹤器；λ為正則化系數(shù)；P為循環(huán)移位矩陣；T為矩陣的共軛轉(zhuǎn)置；P^i-1x為對(duì)目標(biāo)進(jìn)行i-1次循環(huán)移位后得到的樣本；M為掩碼矩陣；W為空間懲罰矩陣；

跟蹤檢測(cè)：從視頻流獲取下一幀數(shù)據(jù)S₂，利用學(xué)習(xí)得到的跟蹤器SR_BACF1、SR_BACF2、SR_BACF3、...進(jìn)行檢測(cè)，從而獲取S₂中的目標(biāo)，在接下來(lái)的視頻幀數(shù)據(jù)S₃、S₄、...、S_n中，采用同樣的跟蹤器SR_BACF1、SR_BACF2、SR_BACF3、...進(jìn)行檢測(cè)；

從S_n+1幀數(shù)據(jù)開(kāi)始，重復(fù)步驟Step2和Step3，從而實(shí)現(xiàn)視頻流的跟蹤檢測(cè)；

所述智能分析模塊用于從視頻跟蹤檢測(cè)模塊實(shí)時(shí)獲取不同攝像設(shè)備中所識(shí)別到的目標(biāo)類別、位置和大小，并通過(guò)集控模塊實(shí)時(shí)訪問(wèn)工作面設(shè)備狀態(tài)，并針對(duì)設(shè)定的預(yù)警事件進(jìn)行報(bào)警；

所述集控模塊用于接收?qǐng)?bào)警信息，并作出設(shè)定的操作。

2.根據(jù)權(quán)利要求1所述的純視覺(jué)的綜采工作面智能輔助控制方法，其特征在于：針對(duì)所述的結(jié)合帶有空間正則化的背景感知相關(guān)濾波算法得到的跟蹤器的目標(biāo)函數(shù)進(jìn)行優(yōu)化如下：

轉(zhuǎn)化到頻域并構(gòu)建等式約束可得：

上式為一個(gè)含有等式約束的優(yōu)化問(wèn)題，利用增廣拉格朗日乘子法轉(zhuǎn)化為無(wú)約束優(yōu)化問(wèn)題得：

其中f和為未知量，其余均為已知量，且μ為正則化因子，上式可以運(yùn)用ADMM方法進(jìn)行求解，具體如下：

求解

式中，

求解

增廣拉格朗日乘子更新方案：

3.根據(jù)權(quán)利要求2所述的純視覺(jué)的綜采工作面智能輔助控制方法，其特征在于：所述的流媒體服務(wù)模塊基于Linux系統(tǒng)下的GStreamer開(kāi)源多媒體框架為載體，搭建起所需的流媒體應(yīng)用程序，實(shí)現(xiàn)RTSP(Real-Time?Streaming?Protocol)視頻流的獲取、解碼、合流、視頻流緩存、分流、編碼及RTSP視頻流分發(fā)業(yè)務(wù)。

4.根據(jù)權(quán)利要求1-3任一項(xiàng)所述的純視覺(jué)的綜采工作面智能輔助控制方法，其特征在于：所述智能分析模塊獲取得到每幀圖像中的目標(biāo)類別、大小及位置信息后，將這些信息繪制在視頻流緩存區(qū)原始數(shù)據(jù)上，之后利用流媒體服務(wù)模塊中的分流、編碼以及RTSP推流功能對(duì)處理后視頻流進(jìn)行分發(fā)，以供前端用戶進(jìn)行視頻流的獲取。

5.根據(jù)權(quán)利要求4所述的純視覺(jué)的綜采工作面智能輔助控制方法，其特征在于：所述的目標(biāo)類型是指：采煤機(jī)、滾筒、互幫板、大媒塊或矸石、刮板運(yùn)輸機(jī)、線纜槽和工作人員。