[發明專利]車內危險行為的檢測方法、裝置、設備及存儲介質

在審

• 申請號: 202211048834.0
• 申請日: 2022-08-30
• 公開（公告）號: CN115320498A
• 公開（公告）日: 2022-11-11
• 發明（設計）人: 章文明
• 申請（專利權）人: 珠海市魅族科技有限公司
• 主分類號: B60Q9/00
• 分類號: B60Q9/00;B60R22/48;B60R21/00
• 代理公司: 北京市京大律師事務所 11321
• 代理人: 居夢琪

1.一種車內危險行為的檢測方法，其特征在于，所述車內危險行為的檢測方法包括：

獲取目標車輛的車內圖像和車內音頻數據，所述車內圖像包括至少一個乘客；

基于所述車內圖像和所述車內音頻數據進行危險行為識別；

若所述至少一個乘客存在危險行為，則生成對應的提醒信息，所述危險行為為未系安全帶、身體部位伸出車窗或與駕駛員對話；

將所述提醒信息發送至提醒終端，所述提醒信息用于指示所述至少一個乘客存在危險行為。

2.根據權利要求1所述的車內危險行為的檢測方法，其特征在于，所述基于所述車內圖像和所述車內音頻數據進行危險行為識別，包括：

基于所述車內圖像進行未系安全帶識別，得到第一識別結果；

基于所述車內圖像進行身體區域位置識別，得到第二識別結果；

基于所述車內音頻數據進行對話識別，得到第三識別結果。

3.根據權利要求2所述的車內危險行為的檢測方法，其特征在于，所述基于所述車內圖像進行未系安全帶識別，得到第一識別結果，包括：

將所述車內圖像進行區域分割，得到所述至少一個乘客中每個乘客對應的子區域圖像；

將每個乘客的子區域圖像進行語義分割，得到每個乘客對應的圖像分割結果；

基于每個乘客對應的圖像分割結果計算每個乘客的安全帶連通域面積；

若所述至少一個乘客中第一目標乘客的安全帶連通域面積小于或等于預設連通域面積，則確定第一識別結果為所述第一目標乘客未系安全帶。

4.根據權利要求2所述的車內危險行為的檢測方法，其特征在于，所述基于所述車內圖像進行身體區域位置識別，得到第二識別結果，包括：

將所述車內圖像進行灰度化處理，得到灰度化圖像，所述灰度化圖像包括至少一個車窗；

基于所述灰度化圖像計算所述至少一個車窗的灰度值與預設車窗灰度值的差值；

若所述差值大于或等于閾值，則確定所述至少一個車窗存在障礙物；

基于所述車內圖像進行人體關鍵點檢測，得到所述至少一個乘客中每個乘客對應的人體關鍵點集；

若存在第二目標乘客的人體關鍵點集中任一個人體關鍵點處于所述至少一個車窗，則確定第二識別結果為所述第二目標乘客的身體部位伸出車窗。

5.根據權利要求2所述的車內危險行為的檢測方法，其特征在于，所述基于所述車內音頻數據進行對話識別，得到第三識別結果，包括：

對所述車內音頻數據進行聲紋識別；

若所述車內音頻數據存在與預設駕駛員聲紋匹配的第一音頻數據，且存在與所述預設駕駛員聲紋不匹配的第二音頻數據，則對所述第一音頻數據和所述第二音頻數據進行關鍵詞對比；

若所述第一音頻數據和所述第二音頻數據存在相同的關鍵詞，則確定第三識別結果為所述至少一個乘客與所述目標車輛的駕駛員存在對話。

6.根據權利要求3所述的車內危險行為的檢測方法，其特征在于，所述將每個乘客的子區域圖像進行語義分割，得到每個乘客對應的圖像分割結果，包括：

將每個乘客的子區域圖像輸入預設的第一卷積核進行卷積分割，得到每個乘客對應的第一特征圖像，所述第一特征圖像包括子區域圖像對應的背景信息；

將每個乘客的子區域圖像輸入預設的第二卷積核進行卷積分割，得到每個乘客對應的第二特征圖像，所述第二特征圖像包括子區域圖像對應的安全帶信息。

7.根據權利要求1-6中任一項所述的車內危險行為的檢測方法，其特征在于，所述基于每個乘客對應的圖像分割結果計算每個乘客的安全帶連通域面積，包括：

基于預設對比規則將每個乘客的第一特征圖像和第二特征圖像進行對比，得到每個乘客的對比結果；

基于每個乘客的對比結果和預設安全帶標記規則，在每個乘客的子區域圖像中標記出安全帶的像素點；

若在每個乘客的子區域圖像中標記出的安全帶的像素點形成多個連通域，則將所述多個連通域的面積進行相加，得到每個乘客的安全帶連通域面積。