[發明專利]音視頻雷達融合的異常事件監控方法、裝置、設備及介質

有效

• 申請號: 202310907807.2
• 申請日: 2023-07-24
• 公開（公告）號: CN116630866B
• 公開（公告）日: 2023-10-13
• 發明（設計）人: 翟葆朔;李亞洲;劉宏煒;劉賀
• 申請（專利權）人: 中電信數字城市科技有限公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V20/52;G06V10/80;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 北京超凡宏宇知識產權代理有限公司 11463
• 代理人: 張萌

1.一種音視頻雷達融合的異常事件監控方法，其特征在于，包括：

獲取當前場景的多元數據集合；其中，所述多元數據集合包括音頻數據、視頻數據和點云數據；

通過預先訓練的異常事件檢測網絡，根據所述視頻數據的目標視頻特征信息和所述點云數據的目標點云特征信息確定第一融合特征，根據所述音頻數據的音頻特征信息和所述第一融合特征確定第二融合特征，并基于所述第二融合特征確定所述當前場景的異常事件檢測結果。

2.根據權利要求1所述的音視頻雷達融合的異常事件監控方法，其特征在于，所述異常事件檢測網絡包括雷視融合子網絡，所述雷視融合子網絡包括雷視特征提取模塊和雷視特征融合模塊；

根據所述視頻數據的目標視頻特征信息和所述點云數據的目標點云特征信息確定第一融合特征，包括：

通過所述雷視特征提取模塊，提取所述視頻數據對應的多個層級的目標視頻特征信息，以及提取所述點云數據對應的多個層級的目標點云特征信息；

通過所述雷視特征融合模塊，對每個層級的所述目標視頻特征信息和每個層級的所述目標點云特征信息進行同層級特征融合和不同層級特征融合，得到第一融合特征。

3.根據權利要求2所述的音視頻雷達融合的異常事件監控方法，其特征在于，所述雷視特征提取模塊包括圖像特征提取單元和點云特征提取單元，所述圖像特征提取單元和所述點云特征提取單元均包括多個層級的第一特征提取子單元和多個層級的第二特征提取子單元，當前層級的第一特征提取子單元的輸入端與前一層級的第一特征提取子單元的輸出端連接，所述當前層級的第一特征提取子單元的輸出端與后一層級的第一特征提取子單元的輸入端和當前層級的第二特征提取子單元的輸入端連接；

提取所述視頻數據對應的多個層級的目標視頻特征信息，包括：

通過所述當前層級的所述第一特征提取子單元，對所述前一層級的視頻特征向量進行特征提取，得到所述當前層級的視頻特征向量；

通過所述當前層級的所述第二特征提取子單元，對所述當前層級的視頻特征向量進行特征提取，得到所述當前層級的目標視頻特征信息。

4.根據權利要求3所述的音視頻雷達融合的異常事件監控方法，其特征在于，所述第一特征提取子單元包括并行的卷積層和空洞卷積，所述第二特征提取子單元包括特征金字塔層。

5.根據權利要求2所述的音視頻雷達融合的異常事件監控方法，其特征在于，所述雷視特征融合模塊包括第一特征融合單元和第二特征融合單元；

對每個層級的所述目標視頻特征信息和每個層級的所述目標點云特征信息進行同層級特征融合和不同層級特征融合，得到第一融合特征，包括：

通過所述第一特征融合單元，分別對每個層級的所述目標視頻特征信息和每個層級的所述目標點云特征信息進行同層級特征融合，得到中間融合特征；

通過所述第二特征融合單元，對所述中間融合特征進行第一卷積操作得到第一卷積操作結果，對所述第一卷積操作結果執行至少兩次第二卷積操作得到第二卷積操作結果，將所述第一卷積操作結果和所述第二卷積操作結果進行融合，以實現不同層級特征融合，得到第一融合特征。

6.根據權利要求5所述的音視頻雷達融合的異常事件監控方法，其特征在于，所述第一特征融合單元包括多個層級的特征融合子單元，當前層級的所述特征融合子單元的輸入端與后一層級的所述特征融合子單元的輸出端、所述當前層級的第一特征提取子單元的輸出端和所述當前層級的第二特征提取子單元的輸出端連接；

分別對每個層級的所述目標視頻特征信息和每個層級的所述目標點云特征信息進行同層級特征融合，得到中間融合特征，包括：

通過所述當前層級的所述特征融合子單元，基于后一層級的所述特征融合子單元的輸出數據、所述當前層級的目標視頻特征信息和所述當前層級的目標點云特征信息進行融合，以實現同層級特征融合，得到中間融合特征。