[發(fā)明專利]一種機(jī)場場面監(jiān)控視頻變化檢測系統(tǒng)及方法

有效

• 申請?zhí)枺?/td>: 202111639029.0
• 申請日: 2021-12-29
• 公開（公告）號: CN114463670B
• 公開（公告）日: 2023-02-03
• 發(fā)明（設(shè)計(jì)）人: 張翔;湯應(yīng)祺;楊瑞菁;孟俊聰;廖權(quán)
• 申請（專利權(quán)）人: 電子科技大學(xué)
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/40;G06V10/74;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京正華智誠專利代理事務(wù)所(普通合伙) 11870
• 代理人: 代維凡

1.一種機(jī)場場面監(jiān)控視頻變化檢測系統(tǒng)，其特征在于，包括：第一通道級聯(lián)模塊、殘差神經(jīng)網(wǎng)絡(luò)編碼器、時(shí)空注意力處理子系統(tǒng)、第二通道級聯(lián)模塊、特征解碼器和運(yùn)動(dòng)增強(qiáng)背景處理模塊；

所述第一通道級聯(lián)模塊和第二通道級聯(lián)模塊用于拼接輸入的數(shù)據(jù)序列；

所述第一通道級聯(lián)模塊的第一輸入端作為機(jī)場場面監(jiān)控視頻變化檢測系統(tǒng)的輸入端，其第二輸入端與運(yùn)動(dòng)增強(qiáng)背景處理模塊的輸出端連接，其輸出端與殘差神經(jīng)網(wǎng)絡(luò)編碼器的輸入端連接；

所述殘差神經(jīng)網(wǎng)絡(luò)編碼器用于對輸入的圖像數(shù)據(jù)序列進(jìn)行特征提取，得到編碼特征，其輸出端與時(shí)鐘注意力處理子系統(tǒng)的輸入端連接，其包括N個(gè)中間編碼層；每個(gè)所述的中間編碼層的輸出端均還與特征解碼器連接；N為正整數(shù)；

所述時(shí)空注意力處理子系統(tǒng)用于提取編碼特征的時(shí)空注意力數(shù)據(jù)，并進(jìn)行時(shí)空注意力匹配運(yùn)算，得到當(dāng)前圖像特征和平均相似特征圖；其第一輸出端用于輸出當(dāng)前圖像特征，與第二通道級聯(lián)模塊的第一輸入端連接；其第二輸出端用于輸出平均相似特征圖，與第二通道級聯(lián)模塊的第二輸入端連接；

所述第二通道級聯(lián)模塊的輸出端與特征解碼器的輸入端連接；

所述特征解碼器用于解碼第二通道級聯(lián)模塊拼接的級聯(lián)編碼特征，得到運(yùn)動(dòng)概率圖；其輸出端與運(yùn)動(dòng)增強(qiáng)背景處理模塊的輸入端連接，并作為機(jī)場場面監(jiān)控視頻變化檢測系統(tǒng)的輸出端；

所述運(yùn)動(dòng)增強(qiáng)背景處理模塊用于根據(jù)運(yùn)動(dòng)概率圖計(jì)算得到參考背景幀，計(jì)算公式為：

其中，t為時(shí)間標(biāo)記符，b_j,k,c為當(dāng)前參考背景幀第j行第k列像素值，ε為常系數(shù)，w_j,k,t為t時(shí)刻運(yùn)動(dòng)概率圖第j行第k列像素值，b_j,k,t為運(yùn)動(dòng)增強(qiáng)背景處理模塊存儲(chǔ)的t時(shí)刻參考背景幀的第j行第k列像素值，m為運(yùn)動(dòng)增強(qiáng)背景處理模塊存儲(chǔ)的歷史參考背景幀的數(shù)量，c為當(dāng)前匹配特征對應(yīng)的時(shí)刻。

2.根據(jù)權(quán)利要求1所述的機(jī)場場面監(jiān)控視頻變化檢測系統(tǒng)，其特征在于，所述時(shí)空注意力處理子系統(tǒng)包括：匹配特征提取模塊、圖像特征提取模塊、匹配特征存儲(chǔ)模塊、圖像特征存儲(chǔ)模塊和平均相似特征計(jì)算模塊；

所述匹配特征提取模塊用于根據(jù)殘差神經(jīng)網(wǎng)絡(luò)編碼器輸出的編碼特征，提取得到當(dāng)前匹配特征；其輸入端與圖像特征提取模塊的輸入端連接，并作為時(shí)空注意力處理子系統(tǒng)的輸入端，還與殘差神經(jīng)網(wǎng)絡(luò)編碼器的輸出端連接；其輸出端分別與匹配特征存儲(chǔ)模塊的輸入端和平均相似特征計(jì)算模塊的輸入端連接；

所述圖像特征提取模塊用于根據(jù)殘差神經(jīng)網(wǎng)絡(luò)編碼器輸出的編碼特征，提取得到當(dāng)前圖像特征，其輸出端作為時(shí)空注意力處理子系統(tǒng)的第一輸出端，分別與圖像特征存儲(chǔ)模塊的輸入端和第二通道級聯(lián)模塊的第一輸入端連接；

所述匹配特征存儲(chǔ)模塊用于存儲(chǔ)當(dāng)前匹配特征之前的L個(gè)歷史匹配特征，其輸出端與平均相似特征計(jì)算模塊的輸入端連接；

所述圖像特征存儲(chǔ)模塊用于存儲(chǔ)當(dāng)前圖像特征之前的L個(gè)歷史圖像特征，其輸出端與平均相似特征計(jì)算模塊的輸入端連接；

所述平均相似特征計(jì)算模塊用于根據(jù)當(dāng)前匹配特征、L個(gè)歷史匹配特征和L個(gè)歷史圖像特征，求解得到平均相似特征圖；其輸出端作為時(shí)空注意力處理子系統(tǒng)的第二輸出端，并與第二通道級聯(lián)模塊的第二輸入端連接。

3.根據(jù)權(quán)利要求2所述的機(jī)場場面監(jiān)控視頻變化檢測系統(tǒng)，其特征在于，所述特征解碼器包括：第一殘差塊、第一上采樣模塊和第一提煉塊至第N提煉塊；

所述第一殘差塊的輸入端作為特征解碼器的輸入端，并與第二通道級聯(lián)模塊的輸出端連接；其輸出端與第一提煉塊的第二輸入端連接；

所述第一提煉塊的第一輸入端與殘差神經(jīng)網(wǎng)絡(luò)編碼器的第N中間編碼層的輸出端連接；其第二輸入端與第一殘差塊的輸出端連接；

第i提煉塊的第一輸入端與殘差神經(jīng)網(wǎng)絡(luò)編碼器的第N+1-i中間編碼層的輸出端連接；其第二輸入端與第i-1提煉塊的輸出端連接；i為閉區(qū)間[2,N]內(nèi)的正整數(shù)；

所述第N提煉塊的輸出端與第一上采樣模塊的輸入端連接；

所述第一上采樣模塊的輸出端作為特征解碼器的輸出端。