[發(fā)明專利]一種火焰檢測(cè)方法、系統(tǒng)、終端設(shè)備及可讀存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110594456.5
• 申請(qǐng)日: 2021-05-28
• 公開(kāi)（公告）號(hào): CN113313028A
• 公開(kāi)（公告）日: 2021-08-27
• 發(fā)明（設(shè)計(jì)）人: 孫浩飛;王南;高坤;魏昊焜;高峰;郭安祥;王辰曦;張海軍;李群;楊彪;張欣宜;黃竣峰
• 申請(qǐng)（專利權(quán)）人: 國(guó)網(wǎng)陜西省電力公司電力科學(xué)研究院;哈爾濱工業(yè)大學(xué)（深圳）;國(guó)家電網(wǎng)有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 西安通大專利代理有限責(zé)任公司 61200
• 代理人: 范巍

1.一種火焰檢測(cè)方法，其特征在于，包括以下步驟：

將被檢測(cè)電網(wǎng)監(jiān)控視頻幀輸入預(yù)訓(xùn)練好的火焰檢測(cè)模型中，通過(guò)所述火焰檢測(cè)模型輸出所述被檢測(cè)電網(wǎng)監(jiān)控視頻幀火焰檢測(cè)結(jié)果；

所述火焰檢測(cè)模型包括：

特征獲取模塊，用于將監(jiān)控視頻幀輸入深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像的特征提取，獲得特征圖；

特征展開(kāi)模塊，用于將獲得的特征圖分為多個(gè)固定尺寸的子特征圖，并將其一維平展為一個(gè)線性子特征圖序列；將子特征圖序列與子特征圖在原特征圖中的位置編碼形成完整的線性輸入序列；

特征編碼模塊，用于利用多頭自注意力模塊和前饋網(wǎng)絡(luò)模塊，將所述線性輸入序列進(jìn)行特征提取，使得特征包含幀內(nèi)上下文的語(yǔ)義和位置信息，獲得處理后的特征；

特征解碼模塊，用于采用自注意力與注意力機(jī)制，將所述處理后的特征通過(guò)多個(gè)交替的多頭自注意力模塊、多頭注意力模塊和前饋網(wǎng)絡(luò)模塊結(jié)合輸出位置編碼進(jìn)行解碼，輸出與查詢對(duì)象同維度的特征結(jié)果；

預(yù)測(cè)輸出模塊，用于將所述特征結(jié)果輸入一個(gè)預(yù)測(cè)前饋網(wǎng)絡(luò)，生成最終的預(yù)測(cè)類標(biāo)簽和邊界框集合，獲得火焰檢測(cè)結(jié)果。

2.根據(jù)權(quán)利要求1所述的一種火焰檢測(cè)方法，其特征在于，所述特征獲取模塊中，將監(jiān)控視頻幀輸入深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像的特征提取，獲得特征圖的步驟具體包括：

基于給定的標(biāo)注過(guò)的視頻數(shù)據(jù)集，構(gòu)建獲得訓(xùn)練數(shù)據(jù)集；其中，所述給定的標(biāo)注過(guò)的視頻數(shù)據(jù)集包括通過(guò)合成方式生成的電網(wǎng)場(chǎng)景下火焰數(shù)據(jù)；

將所述訓(xùn)練數(shù)據(jù)集輸入深度卷積神經(jīng)網(wǎng)絡(luò)來(lái)提取特征；其中，所述深度卷積神經(jīng)網(wǎng)絡(luò)采用ResNet作為特征抽取的主干網(wǎng)絡(luò)，將ResNet中Conv3～Conv5的常規(guī)3×3卷積用可變形卷積來(lái)替代。

3.根據(jù)權(quán)利要求2所述的一種火焰檢測(cè)方法，其特征在于，所述通過(guò)合成方式生成的電網(wǎng)場(chǎng)景下火焰數(shù)據(jù)的獲取步驟包括：

在真實(shí)電網(wǎng)場(chǎng)景下火焰易于產(chǎn)生的地方將真實(shí)的火焰整合在一起形成數(shù)據(jù)集；

在模型訓(xùn)練之前，通過(guò)隨機(jī)水平鏡像、對(duì)輸入圖像添加隨機(jī)擾動(dòng)、噪聲方式進(jìn)行數(shù)據(jù)增廣，獲取豐富后的訓(xùn)練數(shù)據(jù)集。

4.根據(jù)權(quán)利要求1所述的一種火焰檢測(cè)方法，其特征在于，所述特征展開(kāi)模塊中，將獲得的特征圖分為多個(gè)固定尺寸的子特征圖，并將其一維平展為一個(gè)線性子特征圖序列；將子特征圖序列與子特征圖在原特征圖中的位置編碼形成完整的線性輸入序列的步驟具體包括：

將獲得的特征圖經(jīng)過(guò)1×1的卷積進(jìn)行降維，獲得降維處理后的特征圖；

將所述降維處理后的特征圖一維平展為一個(gè)線性子圖序列，在所述線性子圖序列的每一個(gè)子圖中增加位置編碼，得到線性輸入序列。

5.根據(jù)權(quán)利要求1所述的一種火焰檢測(cè)方法，其特征在于，所述特征編碼模塊中，利用多頭自注意力模塊和前饋網(wǎng)絡(luò)模塊，將所述線性輸入序列進(jìn)行特征提取，使得特征包含幀內(nèi)上下文的語(yǔ)義和位置信息，獲得處理后的特征的步驟具體包括：

(1)利用多頭自注意力模塊將所述線性輸入序列進(jìn)行本身序列信息關(guān)聯(lián)度以及位置信息的特征提取；利用殘差連接保留原始信息流，并進(jìn)行層歸一化；

(2)利用前饋神經(jīng)網(wǎng)絡(luò)模塊將步驟(1)提取得到的特征進(jìn)行特征提取；利用殘差連接來(lái)保留原始信息流，并進(jìn)行層歸一化；

(3)交替將步驟(1)、步驟(2)提取的特征經(jīng)過(guò)自注意力模塊和多層感知模塊N次，得到與線性輸入序列同維度特征序列。

6.根據(jù)權(quán)利要求1所述的一種火焰檢測(cè)方法，其特征在于，所述特征解碼模塊中，采用自注意力與注意力機(jī)制，將所述處理后的特征通過(guò)多個(gè)交替的多頭自注意力模塊、多頭注意力模塊和前饋網(wǎng)絡(luò)模塊結(jié)合輸出位置編碼進(jìn)行解碼，輸出與查詢對(duì)象同維度的特征結(jié)果的步驟具體包括：

在解碼器里面采用自注意力進(jìn)行本身序列信息的關(guān)聯(lián)度的提取，將編碼器輸出的特征序列作為條件信息在解碼器上對(duì)隨機(jī)初始化的M個(gè)查詢對(duì)象作為解碼器的輸入進(jìn)行學(xué)習(xí)訓(xùn)練；

交替使用注意力模塊和前饋網(wǎng)絡(luò)模塊，并將查詢對(duì)象添加到每個(gè)注意力層的輸入中進(jìn)行學(xué)習(xí)訓(xùn)練；

將查詢對(duì)象與特征之間的成對(duì)關(guān)系進(jìn)行學(xué)習(xí)訓(xùn)練，最終得到與查詢對(duì)象同維度的特征結(jié)果。