[發(fā)明專利]基于深度學(xué)習(xí)的危險(xiǎn)場景提取方法及相關(guān)設(shè)備

在審

• 申請?zhí)枺?/td>: 202210837682.6
• 申請日: 2022-07-15
• 公開（公告）號: CN115204371A
• 公開（公告）日: 2022-10-18
• 發(fā)明（設(shè)計(jì)）人: 劉明;孟長青;張帆;周正;李超
• 申請（專利權(quán)）人: 襄陽達(dá)安汽車檢測中心有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06K9/00;G06K9/62
• 代理公司: 武漢智權(quán)專利代理事務(wù)所(特殊普通合伙) 42225
• 代理人: 羅成

1.一種基于深度學(xué)習(xí)的危險(xiǎn)場景提取方法，其特征在于，所述基于深度學(xué)習(xí)的危險(xiǎn)場景提取方法包括：

獲取多個(gè)樣本危險(xiǎn)場景和多個(gè)樣本危險(xiǎn)場景對應(yīng)的駕駛員的腦電數(shù)據(jù)、心電數(shù)據(jù)以及眼動(dòng)數(shù)據(jù)；

基于預(yù)處理后的每個(gè)樣本危險(xiǎn)場景和對應(yīng)的駕駛員的腦電數(shù)據(jù)、心電數(shù)據(jù)以及眼動(dòng)數(shù)據(jù)對神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到訓(xùn)練完成的神經(jīng)網(wǎng)絡(luò)模型；

基于訓(xùn)練完成的神經(jīng)網(wǎng)絡(luò)模型，從車輛行駛途中的影像及聲音數(shù)據(jù)庫中提取多個(gè)目標(biāo)危險(xiǎn)場景。

2.如權(quán)利要求1所述的基于深度學(xué)習(xí)的危險(xiǎn)場景提取方法，其特征在于，所述基于預(yù)處理后的每個(gè)樣本危險(xiǎn)場景和對應(yīng)的駕駛員的腦電數(shù)據(jù)、心電數(shù)據(jù)以及眼動(dòng)數(shù)據(jù)對神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到訓(xùn)練完成的神經(jīng)網(wǎng)絡(luò)模型的步驟，包括：

基于預(yù)處理后的每個(gè)樣本危險(xiǎn)場景對應(yīng)的駕駛員的腦電數(shù)據(jù)，得到每個(gè)樣本危險(xiǎn)場景對應(yīng)的腦電功率譜密度；

基于預(yù)處理后的每個(gè)樣本危險(xiǎn)場景對應(yīng)的駕駛員的心電數(shù)據(jù)，得到每個(gè)樣本危險(xiǎn)場景對應(yīng)的心電信號的數(shù)據(jù)統(tǒng)計(jì)結(jié)果；

基于預(yù)處理后的每個(gè)樣本危險(xiǎn)場景對應(yīng)的駕駛員的眼動(dòng)數(shù)據(jù)，得到每個(gè)樣本危險(xiǎn)場景對應(yīng)的水平眼電信號的數(shù)據(jù)統(tǒng)計(jì)結(jié)果以及垂直眼電信號的數(shù)據(jù)統(tǒng)計(jì)結(jié)果，其中，數(shù)據(jù)統(tǒng)計(jì)結(jié)果包括均值、方差、最大值、最小值、最大值與最小值的差值以及一階差分和二階差分的均值、方差、最大值、最小值、最大值與最小值的差值；

將每個(gè)樣本危險(xiǎn)場景對應(yīng)的腦電功率譜密度、心電信號的數(shù)據(jù)統(tǒng)計(jì)結(jié)果、水平眼電信號的數(shù)據(jù)統(tǒng)計(jì)結(jié)果以及垂直眼電信號的數(shù)據(jù)統(tǒng)計(jì)結(jié)果代入預(yù)設(shè)公式，得到樣本危險(xiǎn)場景對應(yīng)的融合卷積特征，預(yù)設(shè)公式如下：

其中，L表示每個(gè)樣本危險(xiǎn)場景對應(yīng)的融合卷積特征，A表示卷積，W表示權(quán)重，F(xiàn)₁表示每個(gè)樣本危險(xiǎn)場景對應(yīng)的腦電功率譜密度，F(xiàn)₂表示每個(gè)樣本危險(xiǎn)場景對應(yīng)的心電信號的數(shù)據(jù)統(tǒng)計(jì)結(jié)果，F(xiàn)₃表示每個(gè)樣本危險(xiǎn)場景對應(yīng)的水平眼電信號的數(shù)據(jù)統(tǒng)計(jì)結(jié)果，F(xiàn)₄表示每個(gè)樣本危險(xiǎn)場景對應(yīng)的垂直眼電信號的數(shù)據(jù)統(tǒng)計(jì)結(jié)果，表示特征的輸出的連接操作；

將每個(gè)樣本危險(xiǎn)場景和對應(yīng)的融合卷積特征L作為一組訓(xùn)練數(shù)據(jù)，得到多組訓(xùn)練數(shù)據(jù)；

基于多組訓(xùn)練數(shù)據(jù)對神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到訓(xùn)練完成的神經(jīng)網(wǎng)絡(luò)模型。

3.如權(quán)利要求1所述的基于深度學(xué)習(xí)的危險(xiǎn)場景提取方法，其特征在于，所述基于訓(xùn)練完成的神經(jīng)網(wǎng)絡(luò)模型，從車輛行駛途中的影像及聲音數(shù)據(jù)庫中提取多個(gè)目標(biāo)危險(xiǎn)場景的步驟，包括：

將車輛行駛途中的影像及聲音數(shù)據(jù)庫中的數(shù)據(jù)輸入訓(xùn)練完成的神經(jīng)網(wǎng)絡(luò)模型中，得到訓(xùn)練完成的神經(jīng)網(wǎng)絡(luò)模型輸出的多個(gè)目標(biāo)危險(xiǎn)場景。

4.如權(quán)利要求1所述的基于深度學(xué)習(xí)的危險(xiǎn)場景提取方法，其特征在于，在所述獲取多個(gè)樣本危險(xiǎn)場景和多個(gè)樣本危險(xiǎn)場景對應(yīng)的駕駛員的腦電數(shù)據(jù)、心電數(shù)據(jù)以及眼動(dòng)數(shù)據(jù)的步驟之后，包括：

對所述多個(gè)樣本危險(xiǎn)場景對應(yīng)的駕駛員的腦電數(shù)據(jù)、心電數(shù)據(jù)以及眼動(dòng)數(shù)據(jù)進(jìn)行預(yù)處理。

5.如權(quán)利要求4所述的基于深度學(xué)習(xí)的危險(xiǎn)場景提取方法，其特征在于，所述對所述多個(gè)樣本危險(xiǎn)場景對應(yīng)的駕駛員的腦電數(shù)據(jù)、心電數(shù)據(jù)以及眼動(dòng)數(shù)據(jù)進(jìn)行預(yù)處理的步驟包括：

將所述多個(gè)樣本危險(xiǎn)場景對應(yīng)的駕駛員的腦電數(shù)據(jù)、心電數(shù)據(jù)以及眼動(dòng)數(shù)據(jù)降噪至預(yù)設(shè)頻率；

對降噪后的多個(gè)樣本危險(xiǎn)場景對應(yīng)的駕駛員的腦電數(shù)據(jù)、心電數(shù)據(jù)以及眼動(dòng)數(shù)據(jù)進(jìn)行濾波處理。

6.一種基于深度學(xué)習(xí)的危險(xiǎn)場景提取裝置，其特征在于，所述基于深度學(xué)習(xí)的危險(xiǎn)場景提取裝置包括：

獲取模塊，用于獲取多個(gè)樣本危險(xiǎn)場景和多個(gè)樣本危險(xiǎn)場景對應(yīng)的駕駛員的腦電數(shù)據(jù)、心電數(shù)據(jù)以及眼動(dòng)數(shù)據(jù)；

訓(xùn)練模塊，用于基于預(yù)處理后的每個(gè)樣本危險(xiǎn)場景和對應(yīng)的駕駛員的腦電數(shù)據(jù)、心電數(shù)據(jù)以及眼動(dòng)數(shù)據(jù)對神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到訓(xùn)練完成的神經(jīng)網(wǎng)絡(luò)模型；

提取模塊，用于基于訓(xùn)練完成的神經(jīng)網(wǎng)絡(luò)模型，從車輛行駛途中的影像及聲音數(shù)據(jù)庫中提取多個(gè)目標(biāo)危險(xiǎn)場景。