[發明專利]一種識別駕駛員行為的方法、裝置及設備

有效

• 申請號: 201911398412.4
• 申請日: 2019-12-30
• 公開（公告）號: CN111178272B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 王晗;周曉;張靜波;李傳奇;李鋒;趙佳文;李瑞洋;張積存
• 申請（專利權）人: 東軟集團（北京）有限公司
• 主分類號: G06V20/59
• 分類號: G06V20/59;G06V10/82;G06V10/26;G06V10/764;G06V10/80
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 柳欣

1.一種識別駕駛員行為的方法，其特征在于，所述方法包括：

從原始車輛圖像中提取駕駛員區域圖像；

將所述駕駛員區域圖像輸入駕駛員行為分類模型以及駕駛員圖像語義分割模型；所述駕駛員行為分類模型是根據待訓練駕駛員區域圖像以及所述待訓練駕駛員區域圖像對應的是否存在預設駕駛員行為的分類標簽訓練得到的；所述駕駛員圖像語義分割模型是根據待訓練駕駛員區域圖像以及所述待訓練駕駛員區域圖像中各個像素點對應的類別標簽訓練得到的；

獲得所述駕駛員行為分類模型輸出的所述駕駛員區域圖像是否存在預設駕駛員行為的第一分類結果；

獲得所述駕駛員圖像語義分割模型輸出的所述駕駛員區域圖像中各個像素點對應的分類結果；

根據所述駕駛員區域圖像中各個像素點對應的分類結果得到所述駕駛員區域圖像是否存在預設駕駛員行為的第二分類結果；

由所述駕駛員區域圖像是否存在預設駕駛員行為的第一分類結果以及所述駕駛員區域圖像是否存在預設駕駛員行為的第二分類結果，確定所述駕駛員區域圖像是否存在預設駕駛員行為的最終分類結果。

2.根據權利要求1所述的方法，其特征在于，所述方法還包括：

將所述駕駛員區域圖像轉換為灰度圖像；

對所述灰度圖像的各個像素點進行卷積計算，計算得到所述灰度圖像的各個像素點的卷積計算值；

將所述灰度圖像的各個像素點的卷積計算值的標準差確定為所述駕駛員區域圖像的清晰度值；

所述將所述駕駛員區域圖像輸入駕駛員行為分類模型以及駕駛員圖像語義分割模型，包括：

當所述清晰度值大于第一閾值時，將所述駕駛員區域圖像輸入駕駛員行為分類模型以及駕駛員圖像語義分割模型。

3.根據權利要求1所述的方法，其特征在于，所述從原始車輛圖像中提取駕駛員區域圖像，包括：

將原始車輛圖像輸入車輛位置檢測模型，獲得所述車輛位置檢測模型輸出的車輛位置信息，根據所述車輛位置信息從所述原始車輛圖像中提取目標車輛圖像；所述車輛位置檢測模型為深度學習模型，是根據待訓練原始車輛圖像中的車輛位置信息訓練得到的；

將所述目標車輛圖像輸入駕駛員位置檢測模型，獲得所述駕駛員位置檢測模型輸出的駕駛員位置信息，根據所述駕駛員位置信息從所述目標車輛圖像中提取駕駛員區域圖像；所述駕駛員位置檢測模型為深度學習模型，是根據待訓練目標車輛圖像中的駕駛員位置信息訓練得到的。

4.根據權利要求1所述的方法，其特征在于，所述根據所述駕駛員區域圖像中各個像素點對應的分類結果得到所述駕駛員區域圖像是否存在預設駕駛員行為的第二分類結果，包括：

如果所述駕駛員區域圖像中各個像素點對應的分類結果中同時存在手機類別的分類結果以及手類別的分類結果，將預設鄰域范圍內存在第二像素點的第一像素點確定為目標像素點；所述第一像素點為手類別的分類結果對應的像素點、所述第二像素點為手機類別的分類結果對應的像素點，或者，所述第一像素點為手機類別的分類結果對應的像素點、所述第二像素點為手類別的分類結果對應的像素點；

如果所述目標像素點的數量大于第二閾值，確定存在接打手機行為的第二分類結果；

如果所述駕駛員區域圖像中各個像素點對應的分類結果中安全帶類別的分類結果對應的像素點數量小于第三閾值，確定存在未系安全帶行為的第二分類結果。

5.根據權利要求1所述的方法，其特征在于，當從原始車輛圖像中提取出兩幅駕駛員區域圖像時，所述方法還包括：

根據所述駕駛員區域圖像中各個像素點對應的分類結果，從提取出的兩幅駕駛員區域圖像中確定主駕駛員區域圖像以及副駕駛員區域圖像。

6.根據權利要求5所述的方法，其特征在于，所述根據所述駕駛員區域圖像中各個像素點對應的分類結果，從提取出的兩幅駕駛員區域圖像中確定主駕駛員區域圖像以及副駕駛員區域圖像，包括：

在提取出的兩幅駕駛員區域圖像中，將所述駕駛員區域圖像中各個像素點對應的分類結果中存在方向盤類別的分類結果對應的駕駛員區域圖像確定為主駕駛員區域圖像，將所述駕駛員區域圖像中各個像素點對應的分類結果中不存在方向盤類別的分類結果對應的駕駛員區域圖像確定為副駕駛員區域圖像。