[發明專利]多模態智能監控的方法、裝置、電子設備及存儲介質

在審

• 申請號: 202211661859.8
• 申請日: 2022-12-23
• 公開（公告）號: CN116248832A
• 公開（公告）日: 2023-06-09
• 發明（設計）人: 賈泉臻;周濤;孫國斌;崔隆;周曉輝;吳仲文;李宏圖;盧丹;朱運坤
• 申請（專利權）人: 號百信息服務有限公司
• 主分類號: H04N7/18
• 分類號: H04N7/18;H04N23/90
• 代理公司: 上海浦科知識產權代理有限公司 31400
• 代理人: 武靜

1.一種多模態智能監控的方法，基于包括圖像識別模塊、計算通知模塊、健全操作模塊的裝置實現，以對數據可視化大屏進行分析，

所述多模態智能監控的方法包括如下步驟：

S1、采用外置攝像頭或者筆記本電腦自帶攝像頭對準待監控屏幕進行拍攝；或者采用瀏覽器打開多個系統，從而以單屏顯示多系統頁面或同時監控多塊屏幕；進而向圖像識別模塊輸出視頻流；

S2、圖像識別模塊獲得視頻流之后，根據業務配置需求的時間周期，截取視頻流中圖像，生成圖片；進而，對圖片根據包括全部識別、用戶自定義的識別規則進行處理，輸出圖像識別后的包括屏幕位置、區域像素值、圖片或者識別區域輸出的各種文字和數字的數據信息；

S3、計算通知模塊匯總收集圖像識別模塊輸出的數據信息，依據識別規則進行處理，如規則為全部識別，則根據NLP來確定語義是否含有錯誤和異常告警，如規則是用戶自定義識別則根據某區域為告警色進行預警，某位置的數字和另一塊區域的數字乘積超過閾值預設情況應發起通知，保證第一時間通知用戶；

S4、計算通知模塊需要發起用戶通知時，調用鑒權操作模塊進行鑒權，通過圖像識別模塊觀測監控數據是否變化，如操作有風險，則需要用戶登錄鑒權操作模塊進行閉環操作，通過用戶鑒權認證，確認發送通知后，則觸發和發起告警/預警通知。

2.如權利要求1所述的方法，步驟S2中，采用攝像頭監控時，根據畫面變動情況即時生成圖片，如畫面無變動，則根據一定的時間間隔生成圖片，如畫面有變動時，即時生成圖片，并采用opencv進行圖像識別。

3.如權利要求1所述的方法，步驟S3中，還包括：當計算通知模塊收集到監控信息數據之后，清除其中的無效數據。

4.如權利要求1所述的方法，步驟S2中，其中，識別規則為全部識別時，全部識別輸出為圖像中出現的包含數字和相關特殊字符的所有文字信息；識別規則為用戶自定義時，包括三種模式：

用戶選擇識別區域，則輸出識別區域內的文字；

用戶定義采集點，輸出采集點的像素值，并給出此采集點的顏色信息；

用戶選擇識別區域，輸出識別區域內的色塊的像素值以及色卡在識別區域內的占比大小。

5.如權利要求4所述的方法，其中，用戶選擇識別區域時，選擇區域的方式包括矩形、圓形、橢圓的選擇框或用戶畫線的封閉圖形。

6.如權利要求4所述的方法，步驟S3中，其中，識別規則為全部識別時，則采用NLP技術進行語義分析，如語義判斷有告警和異常需求，則進行告警；識別規則為用戶自定義時，包括三種模式：

用戶選擇識別區域，則根據識別區域內的文字進行NLP分析；

用戶定義采集點，輸出采集點的像素值，并給出此采集點的顏色如采集點顏色為紅色，黃色或者用戶自定義告警色，則告警；

用戶選擇識別區域，輸出識別區域內的色塊的像素值以及色卡在識別區域內的占比大小，如色塊占比超過用戶預設閾值，則進行告警。

7.如權利要求1所述的方法，步驟S4包括如下步驟：

S41、在通知觸達用戶前，根據用戶預設和NLP技術綜合分析，判定是否風險操作；

S42、如為無風險操作，可以進行用戶預設的包括關閉某個設備和旁路系統、負載切換到備用服務器的自動化操作；如為風險操作，則需用戶先進行鑒權，在用戶通過微信或者短信接到通知之后，登錄頁面進行鑒權，最終由用戶判斷是否進行下一步操作，發起告警/預警通知。