[發明專利]一種機車、車載終端和駕駛員行為識別方法

在審

• 申請號: 202110697390.2
• 申請日: 2021-06-23
• 公開（公告）號: CN115588188A
• 公開（公告）日: 2023-01-10
• 發明（設計）人: 張希;程云飛;吳風炎
• 申請（專利權）人: 海信集團控股股份有限公司
• 主分類號: G06V20/59
• 分類號: G06V20/59;G06V20/52;G06V20/40;G06V10/80;G06V10/764;G06V10/82;G06N3/04;G06N3/08;G06N20/00
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 張愷寧

1.一種機車，其特征在于，包括：

視頻幀獲取組件，用于獲取第一監控視頻幀和第二監控視頻幀；所述第一監控視頻幀包括駕駛員的臉部區域，所述第二監控視頻幀包括所述駕駛員的臉部區域和身體區域；

存儲器，用于存儲程序代碼和所述機車運行時所產生的數據信息；

處理器，用于執行所述程序代碼，以實現如下過程：基于所述第一監控視頻幀中的人臉框和臉部關鍵點的位置，確定所述第一監控視頻幀中的待識別區域，并根據所述待識別區域，確定第一識別結果；以及基于所述第二監控視頻幀中的骨骼點位置，確定第二識別結果；根據所述第一識別結果和所述第二識別結果，確定在設定時間內，駕駛員是否存在目標駕駛行為。

2.根據權利要求1所述的機車，其特征在于，所述處理器具體用于：

將所述第一監控視頻幀輸入多任務卷積神經網絡，通過所述多任務卷積神經網絡，確定所述第一監控視頻幀中包含的人臉框和臉部關鍵點；

基于所述人臉框和所述臉部關鍵點在所述第一監控視頻幀中的位置，確定所述第一監控視頻幀中的待識別區域。

3.根據權利要求1所述的機車，其特征在于，所述處理器還用于：

對所述第一監控視頻幀中的待識別區域進行特征提取，得到所述待識別區域對應的區域特征；

通過機器學習模型，根據所述待識別區域對應的區域特征識別所述第一監控視頻幀中的駕駛員的駕駛行為；

在設定時間內，若識別出存在初步目標駕駛行為的第一監控視頻幀數量大于第一設定數量閾值，則對所述存在初步目標駕駛行為的第一監控視頻幀進行抽取，并通過深度學習模型，根據抽取得到的存在初步目標駕駛行為的第一監控視頻幀中的待識別區域，確定第一識別結果。

4.根據權利要求3所述的機車，其特征在于，所述處理器還用于：

分別提取所述待識別區域的方向梯度直方圖特征、局部二值模式特征和哈爾特征；

將所述方向梯度直方圖特征、所述局部二值模式特征和所述哈爾特征進行融合，得到所述待識別區域對應的區域特征。

5.根據權利要求1所述的機車，其特征在于，所述處理器還用于：

通過骨骼點檢測模型，對所述第二監控視頻幀進行骨骼點檢測，確定所述第二監控視頻幀中的骨骼點位置；

根據所述骨骼點位置，識別所述第二監控視頻幀中的駕駛員的駕駛行為；

在設定時間內，根據識別出存在目標駕駛行為的第二監控視頻幀數量是否大于第二設定數量閾值，確定第二識別結果。

6.根據權利要求1～5中任一項所述的機車，其特征在于，所述處理器還用于：

若確定在所述設定時間內，駕駛員存在目標駕駛行為，則發出報警提示信息。

7.一種駕駛員行為識別方法，其特征在于，所述方法包括：

獲取第一監控視頻幀和第二監控視頻幀；所述第一監控視頻幀包括駕駛員的臉部區域，所述第二監控視頻幀包括所述駕駛員的臉部區域和身體區域；

基于所述第一監控視頻幀中的人臉框和臉部關鍵點的位置，確定所述第一監控視頻幀中的待識別區域，并根據所述待識別區域，確定第一識別結果；以及

基于所述第二監控視頻幀中的骨骼點位置，確定第二識別結果；

根據所述第一識別結果和所述第二識別結果，確定在設定時間內，駕駛員是否存在目標駕駛行為。

8.根據權利要求7所述的方法，其特征在于，所述基于所述第一監控視頻幀中的人臉框和臉部關鍵點的位置，確定所述第一監控視頻幀中的待識別區域，包括：

將所述第一監控視頻幀輸入多任務卷積神經網絡，通過所述多任務卷積神經網絡，確定所述第一監控視頻幀中包含的人臉框和臉部關鍵點；

基于所述人臉框和所述臉部關鍵點在所述第一監控視頻幀中的位置，確定所述第一監控視頻幀中的待識別區域。