[發(fā)明專(zhuān)利]基于深度學(xué)習(xí)的駕駛行為分析識(shí)別警示系統(tǒng)及其識(shí)別方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010714640.4
• 申請(qǐng)日: 2020-07-23
• 公開(kāi)（公告）號(hào): CN111968338A
• 公開(kāi)（公告）日: 2020-11-20
• 發(fā)明（設(shè)計(jì)）人: 沈澍;楊明;劉小雨
• 申請(qǐng)（專(zhuān)利權(quán)）人: 南京郵電大學(xué)
• 主分類(lèi)號(hào): G08B21/02
• 分類(lèi)號(hào): G08B21/02;G08B21/24;G08B3/10;G01B11/24;G06K9/00;G06N3/04;G06N3/08
• 代理公司: 南京蘇高專(zhuān)利商標(biāo)事務(wù)所(普通合伙) 32204
• 代理人: 向文

1.一種基于深度學(xué)習(xí)的駕駛行為分析識(shí)別警示系統(tǒng)，其特征在于：包括具有生成深度圖像功能的相機(jī)以及數(shù)據(jù)分析模塊，所述數(shù)據(jù)分析模塊包括具有邊緣計(jì)算功能的終端設(shè)備和用于提醒播報(bào)的語(yǔ)音模塊，所述相機(jī)用于采集駕駛員的三維空間信息，所述終端設(shè)備用于根據(jù)采集到的駕駛員的三維空間信息分析判斷駕駛行為。

2.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的駕駛行為分析識(shí)別警示系統(tǒng)，其特征在于：所述相機(jī)包括發(fā)光器件、光源驅(qū)動(dòng)器、接收鏡頭、TOF傳感芯片、TOF芯片驅(qū)動(dòng)器和TOF主控器，所述光源驅(qū)動(dòng)器控制發(fā)光器件發(fā)光，使發(fā)光器件發(fā)出調(diào)制光信號(hào)；所述接收鏡頭用于接收調(diào)制光信號(hào)；所述接收鏡頭能夠接收到調(diào)制光照射駕駛員反射回來(lái)的回波信號(hào)，并將回波信號(hào)匯聚在TOF傳感芯片上；所述TOF傳感芯片接收匯聚的回波信號(hào)，并將光信號(hào)轉(zhuǎn)換為電信號(hào)；所述TOF芯片驅(qū)動(dòng)器接收TOF傳感芯片轉(zhuǎn)換的電信號(hào)，并將電信號(hào)進(jìn)行處理；所述TOF主控器與光源驅(qū)動(dòng)器和TOF芯片驅(qū)動(dòng)器分別連接，根據(jù)光信號(hào)發(fā)出與接收之間的時(shí)間差異，計(jì)算出駕駛員所在空間的距離信息。

3.根據(jù)權(quán)利要求1或2所述的一種基于深度學(xué)習(xí)的駕駛行為分析識(shí)別警示系統(tǒng)，其特征在于：所述相機(jī)為Azure Kinect相機(jī)。

4.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的駕駛行為分析識(shí)別警示系統(tǒng)，其特征在于：所述相機(jī)擺放于駕駛室正前上方或側(cè)前上方，用于檢測(cè)所在位置的三維空間信息，檢測(cè)的視場(chǎng)范圍覆蓋駕駛員的頭部，軀干以及方向盤(pán)位置。

5.一種基于深度學(xué)習(xí)的駕駛行為分析識(shí)別警示方法，其特征在于：包括如下步驟：

S1：利用相機(jī)采集持續(xù)生成幀的RGB圖像以及深度圖像，將得到的圖像數(shù)據(jù)傳給數(shù)據(jù)分析模塊；

S2：將收集到的圖像數(shù)據(jù)在數(shù)據(jù)分析模塊上進(jìn)行圖像的對(duì)齊分割預(yù)處理；

S3：在數(shù)據(jù)分析模塊上針對(duì)預(yù)處理完成的圖像，利用引入注意力機(jī)制的深度卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)駕駛行為的多分類(lèi)識(shí)別；

S4：根據(jù)識(shí)別結(jié)果，針對(duì)危險(xiǎn)駕駛行為進(jìn)行警示，通過(guò)語(yǔ)音模塊發(fā)出警報(bào)提醒。

6.根據(jù)權(quán)利要求5所述的一種基于深度學(xué)習(xí)的駕駛行為分析識(shí)別警示方法，其特征在于：所述步驟S2中通過(guò)使用基于高斯混合模型算法的圖像分割方法對(duì)圖像進(jìn)行對(duì)齊分割預(yù)處理，高斯混合模型算法即為GMM，GMM是指具有如下形式的概率分布模型：

其中，α_k是系數(shù)，α_k≥0,φ(y|θ_k)是高斯分布密度，

稱(chēng)為第k個(gè)分模型；

利用EM算法實(shí)現(xiàn)高斯混合模型的應(yīng)用，其輸入是觀測(cè)數(shù)據(jù)y₁,y₂,...,y_N以及高斯混合模型，輸出是高斯混合模型參數(shù)。

7.根據(jù)權(quán)利要求6所述的一種基于深度學(xué)習(xí)的駕駛行為分析識(shí)別警示方法，其特征在于：所述步驟S2中對(duì)齊分割預(yù)處理的具體步驟如下：

A1：取模型參數(shù)的初始值開(kāi)始迭代；

A2：E步：依據(jù)當(dāng)前模型參數(shù)，計(jì)算分模型k對(duì)觀測(cè)數(shù)據(jù)y_j的響應(yīng)度；

A3：M步：計(jì)算新一輪迭代的模型參數(shù)；

其中，M步涉及的三個(gè)公式為分別記算每個(gè)高斯的均值，方差，比重三個(gè)參數(shù)。

A4：重復(fù)步驟A2和A3，直至收斂。

8.根據(jù)權(quán)利要求5所述的一種基于深度學(xué)習(xí)的駕駛行為分析識(shí)別警示方法，其特征在于：所述步驟S3中駕駛行為的多分類(lèi)識(shí)別過(guò)程具體為：使用乘駕圖像作為輸入圖像并將其劃分為4個(gè)通道，分別為R、G、B和Depth，然后分別送入卷積層進(jìn)行卷積操作，經(jīng)過(guò)卷積操作的通道信息再經(jīng)過(guò)一個(gè)激活函數(shù)ReLu得到卷積層的輸入，將卷積層的輸入進(jìn)行最大池化處理，提取出最明顯的特征，最后再經(jīng)過(guò)兩個(gè)全連接層實(shí)現(xiàn)多分類(lèi)行為識(shí)別。