[發(fā)明專利]一種場景中復(fù)雜事件的檢測方法、系統(tǒng)、設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202111319503.1
• 申請日: 2021-11-09
• 公開（公告）號: CN113989746A
• 公開（公告）日: 2022-01-28
• 發(fā)明（設(shè)計）人: 蔣錦霞;孫霞;賴曉翰;梅峰;戴波;沈桂竹;盧文達(dá);王劍;王雪;周果清;王慶
• 申請（專利權(quán)）人: 國網(wǎng)浙江省電力有限公司信息通信分公司;國網(wǎng)浙江省電力有限公司;西北工業(yè)大學(xué)
• 主分類號: G06V20/52
• 分類號: G06V20/52;G06V10/40;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 林哲生

本發(fā)明實施例提供了一種場景中復(fù)雜事件的檢測方法、系統(tǒng)、設(shè)備及存儲介質(zhì)，方法包括：將同一時間段內(nèi)連續(xù)的第一數(shù)量個光波譜段實時圖像序列，輸入到預(yù)設(shè)事件內(nèi)容提取模型中，以使預(yù)設(shè)事件內(nèi)容提取模型對第一輸入?yún)⒘窟M(jìn)行特征提取，并輸出同一時間段內(nèi)檢測到的復(fù)雜事件，其中，復(fù)雜事件為光波譜段實時圖像序列的空域特征和時域特征，將復(fù)雜事件輸入到預(yù)設(shè)復(fù)雜事件檢測模型中，以使預(yù)設(shè)復(fù)雜事件檢測模型對第二輸入?yún)⒘窟M(jìn)行特征提取，并輸出第二輸入?yún)⒘繉?yīng)的檢測結(jié)果。本發(fā)明通過綜合多種光波譜段實時圖像序列，結(jié)合復(fù)雜事件數(shù)據(jù)庫和神經(jīng)網(wǎng)絡(luò)模型，對采集的多種光波譜段實時圖像序列進(jìn)行特征提取和復(fù)雜事件確定，實現(xiàn)對場景中復(fù)雜事件的高效檢測。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理領(lǐng)域，特別是涉及一種場景中復(fù)雜事件的檢測方法、系統(tǒng)、設(shè)備及存儲介質(zhì)。

背景技術(shù)

隨著技術(shù)的發(fā)展，越來越多的監(jiān)控設(shè)備被安裝于各種各樣的物理場景中，用以監(jiān)測物理場景中發(fā)生的復(fù)雜事件，并對發(fā)生的復(fù)雜事件做出判斷和反應(yīng)，從而確保物理場景處于安全狀態(tài)。

目前對物理場景中的復(fù)雜事件進(jìn)行檢測的方法，通過圖像序列采集裝置對物理場景進(jìn)行檢測。但是，現(xiàn)有技術(shù)中采用圖像序列的方式對復(fù)雜事件進(jìn)行檢測，仍然需要由人工來對輸出結(jié)果進(jìn)行檢測，增加了對復(fù)雜事件的處理的反應(yīng)時間，降低了檢測效率。因此，如何實現(xiàn)對物理場景中復(fù)雜事件的高效檢測，已經(jīng)成為現(xiàn)階段相關(guān)領(lǐng)域技術(shù)人員迫切要解決的問題。

發(fā)明內(nèi)容

本發(fā)明實施例的目的在于提供一種場景中復(fù)雜事件的檢測方法、系統(tǒng)、設(shè)備及存儲介質(zhì)，以實現(xiàn)對場景中復(fù)雜事件的高效檢測。具體技術(shù)方案如下：

一種場景中復(fù)雜事件的檢測方法，所述方法包括：

將同一時間段內(nèi)連續(xù)的第一數(shù)量個光波譜段實時圖像序列，作為第一輸入?yún)⒘浚斎氲筋A(yù)設(shè)事件內(nèi)容提取模型中，以使所述預(yù)設(shè)事件內(nèi)容提取模型對所述第一輸入?yún)⒘窟M(jìn)行特征提取，并輸出所述同一時間段內(nèi)檢測到的復(fù)雜事件，其中，所述復(fù)雜事件為所述光波譜段實時圖像序列的空域特征和時域特征。

將所述復(fù)雜事件作為第二輸入?yún)⒘浚斎氲筋A(yù)設(shè)復(fù)雜事件檢測模型中，以使所述預(yù)設(shè)復(fù)雜事件檢測模型對所述第二輸入?yún)⒘窟M(jìn)行特征提取，并輸出所述第二輸入?yún)⒘繉?yīng)的檢測結(jié)果。

可選的，所述將同一時間段內(nèi)連續(xù)的第一數(shù)量個光波譜段實時圖像序列，作為第一輸入?yún)⒘浚斎氲筋A(yù)設(shè)事件內(nèi)容提取模型中，以使所述預(yù)設(shè)事件內(nèi)容提取模型對所述第一輸入?yún)⒘窟M(jìn)行特征提取，并輸出所述同一時間段內(nèi)檢測到的復(fù)雜事件，具體包括：

將同一時間段內(nèi)連續(xù)的第一數(shù)量個光波譜段實時圖像序列，作為第一輸入?yún)⒘浚斎氲筋A(yù)設(shè)事件內(nèi)容提取模型中，建立所述預(yù)設(shè)事件內(nèi)容提取模型中的第一數(shù)量個卷積單元中的每一個所述卷積單元，與所述第一輸入?yún)⒘恐忻恳粋€所述光波譜段實時圖像序列的一一對應(yīng)關(guān)系。

將所述每一個所述光波譜段實時圖像序列輸入到對應(yīng)的所述卷積單元中，以使所述卷積單元對其對應(yīng)的所述光波譜段實時圖像序列進(jìn)行特征提取，輸出第一數(shù)量個所述空域特征，其中，所述第一數(shù)量個所述空域特征與所述第一數(shù)量個所述光波譜段實時圖像序列一一對應(yīng)。

將所述第一數(shù)量個所述空域特征在通道維度上拼接，獲得一個空域特征向量，并將所述空域特征向量作為第三輸入?yún)⒘枯斎氲筋A(yù)設(shè)循環(huán)神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)單元中。

將所述第一數(shù)量個所述空域特征輸入到所述預(yù)設(shè)循環(huán)神經(jīng)網(wǎng)絡(luò)單元中，以使所述預(yù)設(shè)循環(huán)神經(jīng)網(wǎng)絡(luò)單元分別對每一個所述空域特征進(jìn)行時域特征提取，輸出與每一個所述空域特征對應(yīng)的第一數(shù)量個時域特征。

將所述第一數(shù)量個時域特征作為第四輸入?yún)⒘浚瑢⑺龅谌斎雲(yún)⒘亢偷谒妮斎雲(yún)⒘孔鳛樗鰪?fù)雜事件輸入到預(yù)設(shè)循環(huán)神經(jīng)網(wǎng)絡(luò)單元中。

可選的，所述將所述復(fù)雜事件作為第二輸入?yún)⒘浚斎氲筋A(yù)設(shè)復(fù)雜事件檢測模型中，以使所述預(yù)設(shè)復(fù)雜事件檢測模型對所述第二輸入?yún)⒘窟M(jìn)行特征提取，并輸出所述第二輸入?yún)⒘繉?yīng)的檢測結(jié)果，具體包括：