[發明專利]一種危險駕駛行為的識別方法、裝置、設備及存儲介質

在審

• 申請號: 202010141587.3
• 申請日: 2020-03-03
• 公開（公告）號: CN111414813A
• 公開（公告）日: 2020-07-14
• 發明（設計）人: 王博;左凱;王小剛
• 申請（專利權）人: 南京領行科技股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/08
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 趙巧從

1.一種危險駕駛行為的識別方法，其特征在于，應用于網約車系統中的智能感知終端，所述網約車系統，還包括：與所述智能感知終端連接的視頻錄制模塊和服務器，所述方法包括：

獲取所述視頻錄制模塊采集的包含駕駛員的視頻數據；

對所述視頻數據中的一幀或多幀圖像數據進行分析，確定所述駕駛員存在危險駕駛行為，向所述服務器發送通知消息。

2.根據權利要求1所述的方法，其特征在于，所述危險駕駛行為包括以下一種或多種：抽煙行為、分神行為、接打電話行為、疲勞駕駛行為。

3.根據權利要求2所述的方法，其特征在于，所述危險駕駛行為包括抽煙時，所述對所述視頻數據中的一幀或多幀圖像數據進行分析，確定所述駕駛員存在危險駕駛行為，包括：

在所述視頻數據中抽取出第一預設數量幀的圖像；

確定每一幀圖像中駕駛員是否存在抽煙行為；

在確定存在抽煙行為的圖像幀數大于第一預設幀數閾值時，確定駕駛員存在抽煙行為，其中，所述第一預設數量大于或者等于所述第一預設幀數閾值。

4.根據權利要求3所述的方法，其特征在于，所述確定每一幀圖像中駕駛員是否存在抽煙行為，包括：

針對每一幀圖像，利用預先訓練的人臉關鍵點模型從該幀圖像中分割出人臉區域，并利用預先訓練的異常行為檢測模型對所述人臉區域中駕駛員的行為進行檢測，確定駕駛員存在異常行為的第一概率；

在所述第一概率小于或等于第一預設概率閾值時，確定該幀圖像中駕駛員不存在抽煙行為；

在所述第一概率大于或等于第二預設概率閾值時，確定該幀圖像中駕駛員存在抽煙行為；

在所述第一概率大于所述第一預設概率閾值且小于所述第二預設概率閾值時，利用預先訓練的神經網絡模型確定駕駛員的多個吸煙指標，并利用預先設置的每個吸煙指標的權重確定駕駛員存在抽煙行為的第二概率，在所述第二概率大于第三預設概率閾值時，確定該幀圖像中駕駛員存在抽煙行為，其中，所述吸煙指標包括以下一種或多種：嘴型、臉部是否存在煙霧、人臉區域中是否存在香煙。

5.根據權利要求2所述的方法，其特征在于，所述危險駕駛行為包括接打電話行為時，所述對所述視頻數據中的一幀或多幀進行分析，確定所述駕駛員存在危險駕駛行為，包括：

在所述視頻數據中抽取出第二預設數量幀的圖像；

確定每一幀圖像中駕駛員是否存在接打電話行為；

在確定存在接打電話行為的圖像幀數大于第二預設幀數閾值時，確定駕駛員存在接打電話行為，其中，所述第二預設數量大于或者等于所述第二預設幀數閾值。

6.根據權利要求5所述的方法，其特征在于，所述確定每一幀圖像中駕駛員是否存在接打電話行為，包括：

針對每一幀圖像，利用預先訓練的人臉關鍵點模型從該幀圖像中分割出人臉區域，并利用預先訓練的異常對象檢測模型在所述人臉區域中檢測包含手部的第一區域和包含手持終端的第二區域；

利用預先訓練的嘴型識別模型對所述人臉區域進行識別，確定駕駛員的嘴型為說話的第三概率，利用預先訓練的手勢識別模型對所述第一區域進行識別，確定駕駛員的手勢為握持的第四概率，利用預先訓練的手持終端識別模型對所述第二區域進行識別，確定所述第二區域中包含手持終端的第五概率；

若所述第五概率大于第四預設概率閾值，或者所述第五概率大于第五預設概率閾值且小于或等于所述第四預設概率閾值、且所述第三概率大于第六預設概率閾值，或者所述第五概率大于第七預設概率閾值且小于或等于所述第五預設概率閾值、且所述第四概率大于第八預設概率閾值時，確定該幀圖像中駕駛員存在接打電話行為；

若所述第五概率小于或等于所述第七預設概率閾值、或者所述第五概率大于第五預設概率閾值且小于或等于所述第四預設概率閾值、且所述第三概率小于或等于所述第六預設概率閾值，或者所述第五概率大于第七預設概率閾值且小于或等于所述第五預設概率閾值、且所述第四概率小于或等于所述第八預設概率閾值時，確定該幀圖像中駕駛員無接打電話行為。