[發明專利]音視頻雷達融合的異常事件監控方法、裝置、設備及介質

有效

• 申請號: 202310907807.2
• 申請日: 2023-07-24
• 公開（公告）號: CN116630866B
• 公開（公告）日: 2023-10-13
• 發明（設計）人: 翟葆朔;李亞洲;劉宏煒;劉賀
• 申請（專利權）人: 中電信數字城市科技有限公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V20/52;G06V10/80;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 北京超凡宏宇知識產權代理有限公司 11463
• 代理人: 張萌

本發明提供了一種音視頻雷達融合的異常事件監控方法、裝置、設備及介質，包括：獲取當前場景的多元數據集合；其中，多元數據集合包括音頻數據、視頻數據和點云數據；通過預先訓練的異常事件檢測網絡，根據視頻數據的目標視頻特征信息和點云數據的目標點云特征信息確定第一融合特征，根據音頻數據的音頻特征信息和第一融合特征確定第二融合特征，并基于第二融合特征確定當前場景的異常事件檢測結果。本發明可以對不同場景下的多種類型異常事件進行檢測，減少因環境因素對異常事件檢測的影響，提高異常事件檢測的準確性。

技術領域

本發明涉及AI（Artificial?Intelligence，人工智能）技術領域，尤其是涉及一種音視頻雷達融合的異常事件監控方法、裝置、設備及介質。

背景技術

目前，現有的視頻監控設備在雨雪、大霧等能見度較低的情況下通常很難對環境中的異常事件進行檢測。此外，現有的音視頻檢測異常事件的技術通常只能應用于特定的場景下，由于不同場景下的異常事件的定義可能會不同，因此對于不同場景下的異常事件沒有很好的通用性。例如游樂場中的尖叫聲通常不能定義為異常事件，但是車站等場景下的尖叫聲一般會認為是異常事件。綜上所述，現有的監控技術難以準確地對復雜環境的異常事件進行檢測，而且針對不同監控場景的通用性較差。

發明內容

有鑒于此，本發明的目的在于提供一種音視頻雷達融合的異常事件監控方法、裝置、設備及介質，可以對不同場景下的多種類型異常事件進行檢測，減少因環境因素對異常事件檢測的影響，提高異常事件檢測的準確性。

第一方面，本發明實施例提供了一種音視頻雷達融合的異常事件監控方法，包括：

獲取當前場景的多元數據集合；其中，所述多元數據集合包括音頻數據、視頻數據和點云數據；

通過預先訓練的異常事件檢測網絡，根據所述視頻數據的目標視頻特征信息和所述點云數據的目標點云特征信息確定第一融合特征，根據所述音頻數據的音頻特征信息和所述第一融合特征確定第二融合特征，并基于所述第二融合特征確定所述當前場景的異常事件檢測結果。

在一種實施方式中，所述異常事件檢測網絡包括雷視融合子網絡，所述雷視融合子網絡包括雷視特征提取模塊和雷視特征融合模塊；

根據所述視頻數據的目標視頻特征信息和所述點云數據的目標點云特征信息確定第一融合特征，包括：

通過所述雷視特征提取模塊，提取所述視頻數據對應的多個層級的目標視頻特征信息，以及提取所述點云數據對應的多個層級的目標點云特征信息；

通過所述雷視特征融合模塊，對每個層級的所述目標視頻特征信息和每個層級的所述目標點云特征信息進行同層級特征融合和不同層級特征融合，得到第一融合特征。

在一種實施方式中，所述雷視特征提取模塊包括圖像特征提取單元和點云特征提取單元，所述圖像特征提取單元和所述點云特征提取單元均包括多個層級的第一特征提取子單元和多個層級的第二特征提取子單元，當前層級的第一特征提取子單元的輸入端與前一層級的第一特征提取子單元的輸出端連接，所述當前層級的第一特征提取子單元的輸出端與后一層級的第一特征提取子單元的輸入端和當前層級的第二特征提取子單元的輸入端連接；

提取所述視頻數據對應的多個層級的目標視頻特征信息，包括：

通過所述當前層級的所述第一特征提取子單元，對所述前一層級的視頻特征向量進行特征提取，得到所述當前層級的視頻特征向量；

通過所述當前層級的所述第二特征提取子單元，對所述當前層級的視頻特征向量進行特征提取，得到所述當前層級的目標視頻特征信息。

在一種實施方式中，所述第一特征提取子單元包括并行的卷積層和空洞卷積，所述第二特征提取子單元包括特征金字塔層。

在一種實施方式中，所述雷視特征融合模塊包括第一特征融合單元和第二特征融合單元；

對每個層級的所述目標視頻特征信息和每個層級的所述目標點云特征信息進行同層級特征融合和不同層級特征融合，得到第一融合特征，包括：