[發明專利]多模態智能監控的方法、裝置、電子設備及存儲介質

在審

• 申請號: 202211661859.8
• 申請日: 2022-12-23
• 公開（公告）號: CN116248832A
• 公開（公告）日: 2023-06-09
• 發明（設計）人: 賈泉臻;周濤;孫國斌;崔隆;周曉輝;吳仲文;李宏圖;盧丹;朱運坤
• 申請（專利權）人: 號百信息服務有限公司
• 主分類號: H04N7/18
• 分類號: H04N7/18;H04N23/90
• 代理公司: 上海浦科知識產權代理有限公司 31400
• 代理人: 武靜

本發明涉及一種多模態智能監控的方法、裝置、電子設備及存儲介質。多模態智能監控方法包括步驟：S1、采用攝像頭對準待監控屏幕進行拍攝，向圖像識別模塊輸出視頻流；S2、圖像識別模塊獲得視頻流之后，對圖片根據包括全部識別、用戶自定義的識別規則進行處理，輸出圖像識別后的包括屏幕位置、區域像素值、圖片或者識別區域輸出的各種文字和數字的數據信息；S3、計算通知模塊匯總收集圖像識別模塊輸出的數據信息，依據識別規則進行處理；S4、計算通知模塊需要發起用戶通知時，調用鑒權操作模塊進行鑒權，通過用戶鑒權認證，確認發送通知后，則觸發和發起告警/預警通知。依據本發明的多模態智能監控的方法能夠打通系統間的壁壘，實現智能監控。

技術領域

本發明涉及智能監控領域，具體而言，涉及一種基于數據可視化大屏分析的多模態智能監控的方法、裝置、電子設備及存儲介質。

背景技術

對目前市面廣泛應用的智能大屏，各種報表，控臺系統進行智能監控，具體是指使用攝像頭對各個系統的顯示大屏進行監控。市場上各類數字化大屏建設多，由此產生的監控需求大，且各類業務系統和管理視圖變化快，新增指標和指數繁多，如采取人力監控或者系統對接的方式進行監控，不但投入資源多，人力和系統對接成本高，還不能靈活的改變監控目標，難以適應監控目標的快速變化。并且安全和環境因素會導致系統對接成本巨大，如需多個系統的多個參數同時作為監控輸入，并把這些輸入進行變化計算才能得出監控結果，基本變成了“不可能完成的任務”。

目前，傳統監控的識別和告警大多為如下流程：先對被監控系統進行分析，決定監控目標和參數，如被監控系統因為安全、網絡、業務等原因，不能對外自動化提供數據，則必須此系統進行改造，增加顯示頁面，采取人工監控的方式來進行監控；如被監控系統可以改造，則可進行接口對接，通過監控系統和被監控系統的改造和對接，獲得監控目標，當監控目標到達閾值后，監控系統即可采取告警，此類監控系統大多會對接多個系統進行綜合顯示，后續通過人工方式進行告警。不能實現自動智能監控。

因此，為了減少監控系統的人力和資源投入，并能隨意定義監控條件和閾值，并打通系統間的壁壘，需要有一種能突破“系統高墻”，自定義規則的“所見即所得”的智能監控系統。

發明內容

本發明要解決的技術問題是如何為了減少監控系統的人力和資源投入來對各個系統的顯示大屏進行監控，如何能定義監控條件和閾值，并打通系統間的壁壘，實現智能監控。

為解決上述技術問題，根據本發明的一個方面，提供一種多模態智能監控的方法，基于包括圖像識別模塊、計算通知模塊、健全操作模塊的裝置實現，以對數據可視化大屏進行分析。多模態智能監控的方法包括如下步驟：S1、采用外置攝像頭或者筆記本電腦自帶攝像頭對準待監控屏幕進行拍攝；或者采用瀏覽器打開多個系統，從而以單屏顯示多系統頁面或同時監控多塊屏幕；進而向圖像識別模塊輸出視頻流；S2、圖像識別模塊獲得視頻流之后，根據業務配置需求的時間周期，截取視頻流中圖像，生成圖片；進而，對圖片根據包括全部識別、用戶自定義的識別規則進行處理，輸出圖像識別后的包括屏幕位置、區域像素值、圖片或者識別區域輸出的各種文字和數字的數據信息；S3、計算通知模塊匯總收集圖像識別模塊輸出的數據信息，依據識別規則進行處理，如規則為全部識別，則根據NLP(NaturalLanguage?Processing，自然語言處理)來確定語義是否含有錯誤和異常告警，如規則是用戶自定義識別則根據某區域為告警色進行預警，某位置的數字和另一塊區域的數字乘積超過閾值預設情況應發起通知，保證第一時間通知用戶；S4、計算通知模塊需要發起用戶通知時，調用鑒權操作模塊進行鑒權，通過圖像識別模塊觀測監控數據是否變化，如操作有風險，則需要用戶登錄鑒權操作模塊進行閉環操作，通過用戶鑒權認證，確認發送通知后，則觸發和發起告警/預警通知。

根據本發明的實施例，步驟S2中，采用攝像頭監控時，可根據畫面變動情況即時生成圖片，如畫面無變動，則根據一定的時間間隔生成圖片，如畫面有變動時，即時生成圖片，并采用opencv進行圖像識別。

根據本發明的實施例，步驟S3中，還可包括：當計算通知模塊收集到監控信息數據之后，清除其中的無效數據。