[發明專利]靜默報警方法、裝置、計算機設備和存儲介質

在審

• 申請號: 201911234523.1
• 申請日: 2019-12-05
• 公開（公告）號: CN111063162A
• 公開（公告）日: 2020-04-24
• 發明（設計）人: 杜思軍;李陽;陳濤;高雷;李春燕;岳軍鋒
• 申請（專利權）人: 恒大新能源汽車科技(廣東)有限公司
• 主分類號: G08B21/02
• 分類號: G08B21/02
• 代理公司: 廣州華進聯合專利商標代理有限公司 44224
• 代理人: 李姣姣

本申請涉及一種靜默報警方法、裝置、計算機設備和存儲介質，獲取監管環境的圖像數據和音頻數據，從圖像和聲音兩個方面入手，采用監管環境下的多模態數據構建的場景數據訓練得到的多模態識別模型，對圖像數據和聲音數據進行多模態識別，得到多模態識別結果，綜合考慮了監管環境的實際情況，提高危險判斷的準確率，且當根據多模態識別結果生成預警信息時，還結合預設的預警信息過濾方法對預警信息進行篩選，過濾可能出現的誤判的預警信息，保證報警的準確率，此外，當判斷出現危險情況下，采用靜默報警的方式進行自動報警，保證監管環境內的人員的安全。

技術領域

本申請涉及多模態機器學習領域，特別是涉及一種靜默報警方法、裝置、計算機設備和存儲介質。

背景技術

隨著人們生活水平的提高，越來越多的家庭都擁有了自己的車輛，選擇駕車出行也給人們的生活帶來了諸多便利。但是由于車輛的可移動性，增加了車內人員暴露于危險情況下的可能性：從而在很多時候需要車輛能夠智能的判斷危險場景，并實施靜默自動報警，如遭遇到歹徒在車內實施搶劫。

目前，已有學者(或技術)提出了自動報警的方法，但是，現有的自動報警方法僅是通過圖像或聲音實現自動報警，判斷方式較為單一，容易造成誤判的問題，如由手機播放的聲音觸發警報。

發明內容

基于此，有必要針對現有的自動報警容易出現誤判的問題，提供一種更為全面準確的靜默報警方法、裝置、計算機設備和存儲介質。

一種靜默報警方法，方法包括：

獲取監管環境的圖像數據以及音頻數據；

基于圖像數據以及音頻數據，采用預設多模態識別模型進行多模態識別，得到多模態識別結果，預設多模態識別模型基于監管環境下的多模態數據構建的場景數據訓練得到；

當根據多模態識別結果生成預警信息時，結合預設的預警信息過濾方法以及多模態識別結果識別預警信息中有效的預警信息；

獲取有效的預警信息的權重之和，當權重之和超過預設閾值時，通過預設靜默報警方式發送報警信號。

在其中一個實施例中，基于圖像數據以及音頻數據，采用預設多模態識別模型進行多模態識別包括：

基于圖像數據，采用預設多模態識別模型進行圖像識別，識別出圖像數據中的用戶數據以及危險物品；

基于音頻數據，采用預設多模態識別模型進行音頻檢測，識別音頻數據是否包含觸發預警信息生成的目標數據。

在其中一個實施例中，預設多模態識別模型包括圖像分類單元、動作分類單元以及物品檢測定位單元；

基于圖像數據，采用預設多模態識別模型進行圖像識別，識別出圖像數據中的用戶數據以及危險物品包括：

采用圖像分類單元對圖像數據進行分類，識別出圖像數據中的用戶的年齡段和身體狀態；

采用動作分類單元對圖像數據進行動作檢測，判斷圖像數據中的用戶的動作是否危險；

采用物品檢測定位單元對圖像數據進行物品檢測，識別監管環境是否存在危險物品。

在其中一個實施例中，根據多模態識別結果生成預警信息包括：

當多模態識別結果包含下述至少一項時，生成預警信息；

第一項，識別出監管環境存在危險物品；

第二項，識別出用戶的動作為危險動作；

第三項，識別音頻數據包含觸發預警信息生成的目標數據。

在其中一個實施例中，結合預設的預警信息過濾方法以及多模態識別結果識別預警信息中有效的預警信息包括：