[發(fā)明專利]一種識(shí)別駕駛員行為的方法、裝置及設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201911398412.4
• 申請(qǐng)日: 2019-12-30
• 公開（公告）號(hào): CN111178272B
• 公開（公告）日: 2023-04-18
• 發(fā)明（設(shè)計(jì)）人: 王晗;周曉;張靜波;李傳奇;李鋒;趙佳文;李瑞洋;張積存
• 申請(qǐng)（專利權(quán)）人: 東軟集團(tuán)（北京）有限公司
• 主分類號(hào): G06V20/59
• 分類號(hào): G06V20/59;G06V10/82;G06V10/26;G06V10/764;G06V10/80
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 柳欣

1.一種識(shí)別駕駛員行為的方法，其特征在于，所述方法包括：

從原始車輛圖像中提取駕駛員區(qū)域圖像；

將所述駕駛員區(qū)域圖像輸入駕駛員行為分類模型以及駕駛員圖像語義分割模型；所述駕駛員行為分類模型是根據(jù)待訓(xùn)練駕駛員區(qū)域圖像以及所述待訓(xùn)練駕駛員區(qū)域圖像對(duì)應(yīng)的是否存在預(yù)設(shè)駕駛員行為的分類標(biāo)簽訓(xùn)練得到的；所述駕駛員圖像語義分割模型是根據(jù)待訓(xùn)練駕駛員區(qū)域圖像以及所述待訓(xùn)練駕駛員區(qū)域圖像中各個(gè)像素點(diǎn)對(duì)應(yīng)的類別標(biāo)簽訓(xùn)練得到的；

獲得所述駕駛員行為分類模型輸出的所述駕駛員區(qū)域圖像是否存在預(yù)設(shè)駕駛員行為的第一分類結(jié)果；

獲得所述駕駛員圖像語義分割模型輸出的所述駕駛員區(qū)域圖像中各個(gè)像素點(diǎn)對(duì)應(yīng)的分類結(jié)果；

根據(jù)所述駕駛員區(qū)域圖像中各個(gè)像素點(diǎn)對(duì)應(yīng)的分類結(jié)果得到所述駕駛員區(qū)域圖像是否存在預(yù)設(shè)駕駛員行為的第二分類結(jié)果；

由所述駕駛員區(qū)域圖像是否存在預(yù)設(shè)駕駛員行為的第一分類結(jié)果以及所述駕駛員區(qū)域圖像是否存在預(yù)設(shè)駕駛員行為的第二分類結(jié)果，確定所述駕駛員區(qū)域圖像是否存在預(yù)設(shè)駕駛員行為的最終分類結(jié)果。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

將所述駕駛員區(qū)域圖像轉(zhuǎn)換為灰度圖像；

對(duì)所述灰度圖像的各個(gè)像素點(diǎn)進(jìn)行卷積計(jì)算，計(jì)算得到所述灰度圖像的各個(gè)像素點(diǎn)的卷積計(jì)算值；

將所述灰度圖像的各個(gè)像素點(diǎn)的卷積計(jì)算值的標(biāo)準(zhǔn)差確定為所述駕駛員區(qū)域圖像的清晰度值；

所述將所述駕駛員區(qū)域圖像輸入駕駛員行為分類模型以及駕駛員圖像語義分割模型，包括：

當(dāng)所述清晰度值大于第一閾值時(shí)，將所述駕駛員區(qū)域圖像輸入駕駛員行為分類模型以及駕駛員圖像語義分割模型。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述從原始車輛圖像中提取駕駛員區(qū)域圖像，包括：

將原始車輛圖像輸入車輛位置檢測(cè)模型，獲得所述車輛位置檢測(cè)模型輸出的車輛位置信息，根據(jù)所述車輛位置信息從所述原始車輛圖像中提取目標(biāo)車輛圖像；所述車輛位置檢測(cè)模型為深度學(xué)習(xí)模型，是根據(jù)待訓(xùn)練原始車輛圖像中的車輛位置信息訓(xùn)練得到的；

將所述目標(biāo)車輛圖像輸入駕駛員位置檢測(cè)模型，獲得所述駕駛員位置檢測(cè)模型輸出的駕駛員位置信息，根據(jù)所述駕駛員位置信息從所述目標(biāo)車輛圖像中提取駕駛員區(qū)域圖像；所述駕駛員位置檢測(cè)模型為深度學(xué)習(xí)模型，是根據(jù)待訓(xùn)練目標(biāo)車輛圖像中的駕駛員位置信息訓(xùn)練得到的。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述駕駛員區(qū)域圖像中各個(gè)像素點(diǎn)對(duì)應(yīng)的分類結(jié)果得到所述駕駛員區(qū)域圖像是否存在預(yù)設(shè)駕駛員行為的第二分類結(jié)果，包括：

如果所述駕駛員區(qū)域圖像中各個(gè)像素點(diǎn)對(duì)應(yīng)的分類結(jié)果中同時(shí)存在手機(jī)類別的分類結(jié)果以及手類別的分類結(jié)果，將預(yù)設(shè)鄰域范圍內(nèi)存在第二像素點(diǎn)的第一像素點(diǎn)確定為目標(biāo)像素點(diǎn)；所述第一像素點(diǎn)為手類別的分類結(jié)果對(duì)應(yīng)的像素點(diǎn)、所述第二像素點(diǎn)為手機(jī)類別的分類結(jié)果對(duì)應(yīng)的像素點(diǎn)，或者，所述第一像素點(diǎn)為手機(jī)類別的分類結(jié)果對(duì)應(yīng)的像素點(diǎn)、所述第二像素點(diǎn)為手類別的分類結(jié)果對(duì)應(yīng)的像素點(diǎn)；

如果所述目標(biāo)像素點(diǎn)的數(shù)量大于第二閾值，確定存在接打手機(jī)行為的第二分類結(jié)果；

如果所述駕駛員區(qū)域圖像中各個(gè)像素點(diǎn)對(duì)應(yīng)的分類結(jié)果中安全帶類別的分類結(jié)果對(duì)應(yīng)的像素點(diǎn)數(shù)量小于第三閾值，確定存在未系安全帶行為的第二分類結(jié)果。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，當(dāng)從原始車輛圖像中提取出兩幅駕駛員區(qū)域圖像時(shí)，所述方法還包括：

根據(jù)所述駕駛員區(qū)域圖像中各個(gè)像素點(diǎn)對(duì)應(yīng)的分類結(jié)果，從提取出的兩幅駕駛員區(qū)域圖像中確定主駕駛員區(qū)域圖像以及副駕駛員區(qū)域圖像。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述根據(jù)所述駕駛員區(qū)域圖像中各個(gè)像素點(diǎn)對(duì)應(yīng)的分類結(jié)果，從提取出的兩幅駕駛員區(qū)域圖像中確定主駕駛員區(qū)域圖像以及副駕駛員區(qū)域圖像，包括：

在提取出的兩幅駕駛員區(qū)域圖像中，將所述駕駛員區(qū)域圖像中各個(gè)像素點(diǎn)對(duì)應(yīng)的分類結(jié)果中存在方向盤類別的分類結(jié)果對(duì)應(yīng)的駕駛員區(qū)域圖像確定為主駕駛員區(qū)域圖像，將所述駕駛員區(qū)域圖像中各個(gè)像素點(diǎn)對(duì)應(yīng)的分類結(jié)果中不存在方向盤類別的分類結(jié)果對(duì)應(yīng)的駕駛員區(qū)域圖像確定為副駕駛員區(qū)域圖像。