[發明專利]一種基于動態三維模型的監控預警方法、系統及存儲介質

有效

• 申請號: 202010955445.0
• 申請日: 2020-09-11
• 公開（公告）號: CN112053391B
• 公開（公告）日: 2022-10-14
• 發明（設計）人: 崔巖
• 申請（專利權）人: 中德（珠海）人工智能研究院有限公司;珠海市四維時代網絡科技有限公司
• 主分類號: G06T7/33
• 分類號: G06T7/33;G06T7/73;G06T7/80;G06T17/00;G06T19/20;G06T5/50;G06N3/04;G06N3/08
• 代理公司: 深圳德高智行知識產權代理事務所(普通合伙) 44696
• 代理人: 吳襄帥

1.一種基于動態三維模型的監控預警方法，其特征在于包含下列步驟：

S1將復雜場景劃分為多個區域，通過圖像采集模塊獲得每個區域的多組靜態圖像及視頻流；

S2針對所述每個區域分別進行三維建模，獲得所述每個區域的靜態三維模型；

S3將各區域的視頻流與所述各區域的靜態三維模型進行配準拼接，形成各區域的動態三維模型；

S4針對所述各區域的動態三維模型進行異常事件判斷識別；

S5當檢測到異常事件，則啟動預警以及記錄所述異常事件的發生信息；

S6將所述異常事件發生信息發送至監控服務器；

所述步驟S2進一步包含：

S21對所述圖像采集模塊進行標定及對采集的多組靜態圖像進行預處理；

S22將經預處理后的多組靜態圖像輸入三維深度估計模型進行訓練；

S23利用損失函數對所述三維深度估計模型進行優化；

S24基于所述三維深度估計模型結合相機位姿優化算法建立各區域對應的靜態三維模型；

S24具體方法為：

S241利用三維深度估計模型生成第一區域對應的稠密點云；

S242計算相機精確位姿以及對不同空間點云進行位置分布；

S243對稠密點云進行標記；

S244利用稠密點云生成可視空間；

S245生成復雜場景中第一區域的三維模型；

S246重復上述步驟至完成復雜場中多個區域的三維建模，最終得到多個區域的靜態三維模型；

所述步驟S3中將所述視頻流與所述靜態三維模型進行配準拼接，還包括：將所述各區域的視頻流進行預處理，通過所述圖像采集模塊內置的視頻定位模塊與各區域所述靜態三維模型配準拼接，形成所述動態三維模型；

所述步驟S4中對異常事件判斷識別包含通過構建異常事件識別算法對各區域所述動態三維模型的視頻流進行異常事件識別；

所述步驟S4進一步包含：

S41獲取任一區域視頻流，并進行解碼及提取關鍵幀；

S42構建關鍵幀掩膜模板，結合特征提取算法計算得到目標特征矢量集；

S43利用多源動態信息融合算法，結合所述目標特征矢量集，計算目標特征參數及構建異常事件識別判據；

S44利用所述目標特征參數，結合異常事件識別判據，訓練異常事件識別模型，使所述異常事件識別模型針對所監控的各動態三維模型中出現的異常事件進行分類識別。

2.根據權利要求1所述的一種基于動態三維模型的監控預警方法，其特征在于：所述步驟S23中，利用所述三維深度估計模型基于二維圖像估計生成對應深度信息。

3.根據權利要求1所述的一種基于動態三維模型的監控預警方法，其特征在于，所述步驟S3中將所述視頻流與所述靜態三維模型進行配準拼接，還包括：將所述各區域視頻流進行預處理，通過構建關鍵幀空間定位算法對經預處理后的各區域所述視頻流與各區域所述靜態三維模型進行配準，利用動態拼接算法將配準后的各區域所述視頻流與各區域所述靜態三維模型進行拼接融合，形成所述動態三維模型；

所述步驟S3還包括對所述動態三維模型中遮擋區域進行優化處理。

4.一種基于動態三維模型的監控預警系統，應用到權利要求1-3任一項所述的方法，其特征在于，包括圖像獲取及劃分模塊、區域三維重構模快、異常事件識別模塊、預警及信息回溯模塊、顯示模塊及通信模塊；

所述圖像獲取及劃分模塊，用于對復雜場景進行區域劃分，以及獲取及存儲所述各區域的靜態圖像及視頻流；

所述區域三維重構模塊包括：

預處理模塊，用于對圖像獲取及劃分模塊進行參數標定，以及對靜態圖像及視頻流進行圖像處理；

三維建模模塊，用于建立各區域靜態三維模型；

視頻流拼接模塊，用于對各區域所述視頻流與各區域所述靜態三維模型配準拼接，以形成所述動態三維模型；

所述異常事件識別模塊，用于對所述各區域的動態三維模型中，是否出現異常事件進行判別；

所述預警及信息回溯模塊，用于對異常事件發生時，啟動預警機制，以及將異常事件信息回傳至監控中心；

所述顯示模塊，用于對所述各區域動態三維模型用網格化排布及終端顯示，或者用于對所述各區域動態三維模型采用單點排布及終端顯示；

所述通信模塊，用于所述各模塊間的通信連接。