[發(fā)明專利]車內(nèi)駕駛員行為識別方法及裝置

有效

• 申請?zhí)枺?/td>: 202011040952.8
• 申請日: 2020-09-28
• 公開（公告）號: CN112149589B
• 公開（公告）日: 2022-07-08
• 發(fā)明（設(shè)計(jì)）人: 胡方健;余程鵬;王小剛
• 申請（專利權(quán)）人: 南京領(lǐng)行科技股份有限公司
• 主分類號: G06V20/59
• 分類號: G06V20/59;G06V20/40;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京同達(dá)信恒知識產(chǎn)權(quán)代理有限公司 11291
• 代理人: 杜晶

1.一種車內(nèi)駕駛員行為識別方法，其特征在于，包括：

從拍攝的車內(nèi)駕駛員的視頻中抽取多幀圖像；

針對抽取的每幀圖像，獲取該圖像的特征圖；

將各幀圖像的特征圖進(jìn)行組合，得到組合圖，以及采用所述組合圖識別車內(nèi)駕駛員的行為；其中所述組合圖中的每個(gè)特征為將各幀圖像的特征圖中對應(yīng)的相同位置處的特征按照拍攝各幀圖像的時(shí)間順序進(jìn)行組合得到的；

若識別到車內(nèi)駕駛員的行為屬于預(yù)設(shè)的危險(xiǎn)駕駛行為，則進(jìn)行告警處理；

所述將各幀圖像的特征圖進(jìn)行組合，得到組合圖，包括：

將當(dāng)前特征圖與前一個(gè)組合特征圖進(jìn)行組合得到當(dāng)前組合特征圖，以及將所述當(dāng)前組合特征圖與下一個(gè)特征圖進(jìn)行組合，直到所有的特征圖均完成組合為止，將最后一個(gè)組合特征圖作為組合圖；其中，第一個(gè)組合特征圖為各幀圖像中拍攝最早的圖像的特征圖；最后一個(gè)當(dāng)前特征圖為各幀圖像中拍攝最晚的圖像的特征圖；

其中，每次特征圖與組合特征圖進(jìn)行組合都包括如下步驟：

針對特征圖中每個(gè)特征，若該特征為駕駛員手部以及手部周圍的特征，則根據(jù)組合特征圖中與該特征相同位置處的組合特征與該特征，得到組合后的特征；或

若該特征不為駕駛員手部以及手部周圍的特征，則將組合特征圖中與該特征相同位置處的組合特征作為組合后的特征。

2.根據(jù)權(quán)利要求1所述的車內(nèi)駕駛員行為識別方法，其特征在于，所述方法還包括：

若前一次識別到車內(nèi)駕駛員的行為屬于預(yù)設(shè)的危險(xiǎn)駕駛行為，則在確定當(dāng)前時(shí)刻與前一次識別到車內(nèi)駕駛員的行為屬于預(yù)設(shè)的危險(xiǎn)駕駛行為的時(shí)刻的間隔為第一預(yù)設(shè)間隔后，從所述第一預(yù)設(shè)間隔拍攝的車內(nèi)駕駛員的視頻中抽取多幀圖像；或

若前一次識別到車內(nèi)駕駛員的行為不屬于預(yù)設(shè)的危險(xiǎn)駕駛行為，則在確定當(dāng)前時(shí)刻與前一次識別到車內(nèi)駕駛員的行為屬于預(yù)設(shè)的危險(xiǎn)駕駛行為的時(shí)刻的間隔為第二預(yù)設(shè)間隔后，從所述第二預(yù)設(shè)間隔拍攝的車內(nèi)駕駛員的視頻中抽取多幀圖像，其中，第一預(yù)設(shè)間隔大于所述第二預(yù)設(shè)間隔。

3.根據(jù)權(quán)利要求1～2任一項(xiàng)所述的車內(nèi)駕駛員行為識別方法，其特征在于，所述針對每幀圖像，獲取該圖像的特征圖，包括：

通過特征提取網(wǎng)絡(luò)，針對每幀圖像，獲取該圖像的特征圖；

所述將各幀圖像的特征圖進(jìn)行組合，得到組合圖，以及采用所述組合圖識別車內(nèi)駕駛員的行為，包括：

通過行為識別網(wǎng)絡(luò)，將各幀圖像的特征圖進(jìn)行組合，得到組合圖，以及采用所述組合圖識別車內(nèi)駕駛員的行為。

4.根據(jù)權(quán)利要求3所述的車內(nèi)駕駛員行為識別方法，其特征在于，其中，所述特征提取網(wǎng)絡(luò)和行為識別網(wǎng)絡(luò)的訓(xùn)練過程，包括：

對第一基礎(chǔ)神經(jīng)網(wǎng)絡(luò)和第二基礎(chǔ)神經(jīng)網(wǎng)絡(luò)進(jìn)行多輪訓(xùn)練，得到所述第一基礎(chǔ)神經(jīng)網(wǎng)絡(luò)訓(xùn)練后的特征提取網(wǎng)絡(luò)和所述第二基礎(chǔ)神經(jīng)網(wǎng)絡(luò)訓(xùn)練后的行為識別網(wǎng)絡(luò)；

其中，在每輪訓(xùn)練過程中，將樣本圖像作為所述第一基礎(chǔ)神經(jīng)網(wǎng)絡(luò)的輸入，將所述樣本圖像的特征圖作為所述第一基礎(chǔ)神經(jīng)網(wǎng)絡(luò)的輸出；將所述第一基礎(chǔ)神經(jīng)網(wǎng)絡(luò)在該輪的輸出作為所述第二基礎(chǔ)神經(jīng)網(wǎng)絡(luò)的輸入，將車內(nèi)駕駛員的行為作為所述第二基礎(chǔ)神經(jīng)網(wǎng)絡(luò)的輸出；

在每輪訓(xùn)練過程中，確定目標(biāo)標(biāo)簽中車內(nèi)駕駛員行為的類型對應(yīng)的損失函數(shù)的參數(shù)值，以及利用確定的參數(shù)值的損失函數(shù)調(diào)整所述第一基礎(chǔ)神經(jīng)網(wǎng)絡(luò)和所述第二基礎(chǔ)神經(jīng)網(wǎng)絡(luò)中的權(quán)重值；所述目標(biāo)標(biāo)簽為輸出的車內(nèi)駕駛員的行為對應(yīng)的樣本圖像的標(biāo)簽。

5.根據(jù)權(quán)利要求4所述的車內(nèi)駕駛員行為識別方法，其特征在于，其中，每種車內(nèi)駕駛員行為的類型對應(yīng)的損失函數(shù)的參數(shù)值為，根據(jù)訓(xùn)練過程中所使用的所有樣本圖像的標(biāo)簽中每種車內(nèi)駕駛員行為的類型的樣本圖像的總個(gè)數(shù)之間的比例確定的。