[發(fā)明專利]駕駛行為分析方法、裝置、設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202011032896.3
• 申請日: 2020-09-27
• 公開（公告）號: CN112132070A
• 公開（公告）日: 2020-12-25
• 發(fā)明（設(shè)計）人: 韋立慶
• 申請（專利權(quán)）人: 上海高德威智能交通系統(tǒng)有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/34;G06K9/62
• 代理公司: 北京三高永信知識產(chǎn)權(quán)代理有限責(zé)任公司 11138
• 代理人: 謝冬寒

1.一種駕駛行為分析方法，其特征在于，所述方法包括：

從第一圖像中提取出包含方向盤的局部圖像，得到第二圖像，所述第一圖像是針對駕駛員所處的區(qū)域進行拍攝得到的圖像；

對所述第二圖像進行圖像分割處理，以標(biāo)記出所述第二圖像中的方向盤區(qū)域和駕駛員手部區(qū)域；

將標(biāo)記出方向盤區(qū)域和駕駛員手部區(qū)域的所述第二圖像作為行為分析網(wǎng)絡(luò)模型的輸入，通過所述行為分析網(wǎng)絡(luò)模型確定所述駕駛員的駕駛行為。

2.如權(quán)利要求1所述的方法，其特征在于，所述對所述第二圖像進行圖像分割處理，以標(biāo)記出所述第二圖像中的方向盤區(qū)域和駕駛員手部區(qū)域，包括：

將所述第二圖像作為圖像分割網(wǎng)絡(luò)模型的輸入，通過所述圖像分割網(wǎng)絡(luò)模型確定所述第二圖像中每個像素點屬于多個類別的概率；

基于所述第二圖像中每個像素點屬于所述多個類別的概率，確定所述第二圖像中每個像素點所屬的類別；

根據(jù)所述每個像素點所屬的類別，標(biāo)記出所述第二圖像中的方向盤區(qū)域和駕駛員手部區(qū)域。

3.如權(quán)利要求1所述的方法，其特征在于，所述行為分析網(wǎng)絡(luò)模型包括特征提取網(wǎng)絡(luò)子模型和特征融合網(wǎng)絡(luò)子模型；

所述將標(biāo)記出方向盤區(qū)域和駕駛員手部區(qū)域的所述第二圖像作為行為分析網(wǎng)絡(luò)模型的輸入，通過所述行為分析網(wǎng)絡(luò)模型確定所述駕駛員的駕駛行為，包括：

將標(biāo)記出方向盤區(qū)域和駕駛員手部區(qū)域后的所述第二圖像作為所述特征提取網(wǎng)絡(luò)子模型的輸入，通過所述特征提取網(wǎng)絡(luò)子模型確定所述第二圖像的高階特征，所述高階特征用于指示所述駕駛員的手部和所述方向盤之間的相對姿態(tài)；

將所述第二圖像的高階特征和緩存的N幀歷史圖像的高階特征作為所述特征融合網(wǎng)絡(luò)子模型的輸入，通過所述特征融合網(wǎng)絡(luò)子模型確定所述駕駛員的駕駛行為，所述N幀歷史圖像與所述第二圖像連續(xù)，所述N為大于1的整數(shù)。

4.如權(quán)利要求3所述的方法，其特征在于，在將標(biāo)記出方向盤區(qū)域和駕駛員手部區(qū)域的所述第二圖像作為行為分析網(wǎng)絡(luò)模型的輸入，通過所述行為分析網(wǎng)絡(luò)模型確定所述駕駛員的駕駛行為之前，所述方法還包括：

獲取多幀第一樣本圖像以及每幀第一樣本圖像的高階特征，所述多幀第一樣本圖像均為駕駛員駕駛車輛且經(jīng)過圖像分割處理后的圖像；

將所述多幀第一樣本圖像作為初始特征提取網(wǎng)絡(luò)子模型的輸入，將所述多幀第一樣本圖像的高階特征作為所述初始特征提取網(wǎng)絡(luò)子模型的輸出，對所述初始特征提取網(wǎng)絡(luò)子模型進行訓(xùn)練，得到所述特征提取網(wǎng)絡(luò)子模型。

5.如權(quán)利要求3或4所述的方法，其特征在于，在將標(biāo)記出方向盤區(qū)域和駕駛員手部區(qū)域的所述第二圖像作為行為分析網(wǎng)絡(luò)模型的輸入，通過所述行為分析網(wǎng)絡(luò)模型確定所述駕駛員的駕駛行為之前，所述方法還包括：

獲取連續(xù)的多幀第二樣本圖像的高階特征以及每幀第二樣本圖像的樣本標(biāo)簽，所述樣本標(biāo)簽用于指示相應(yīng)樣本圖像中駕駛員的駕駛行為；

將所述多幀第二樣本圖像劃分為M組樣本圖像，每組樣本圖像包括連續(xù)的N+1幀第二樣本圖像；

將所述M組樣本圖像中每組樣本圖像的高階特征作為初始特征融合網(wǎng)絡(luò)子模型的輸入，將相應(yīng)一組樣本圖像中最后一幀第二樣本圖像的樣本標(biāo)簽作為所述初始特征融合網(wǎng)絡(luò)子模型的輸出，對所述初始特征融合網(wǎng)絡(luò)子模型進行訓(xùn)練，得到所述特征融合網(wǎng)絡(luò)子模型。

6.如權(quán)利要求1所述的方法，其特征在于，所述從第一圖像中提取出包含方向盤的局部圖像，得到第二圖像，包括：

從所述第一圖像中識別出所述方向盤的位置；

基于所述方向盤的位置，從所述第一圖像中提取以所述方向盤為中心且向四周擴展目標(biāo)尺寸后的局部圖像，得到所述第二圖像。

7.如權(quán)利要求1所述的方法，其特征在于，在所述第一圖像中，所述方向盤位于第一對角線的左上方和第二對角線的左下方之間，所述第一對角線穿過車門，且與所述車門保持同一水平線。