[發明專利]一種基于深度學習的司機危險駕駛動作識別方法及系統

在審

• 申請號: 202110297410.7
• 申請日: 2021-03-19
• 公開（公告）號: CN113128343A
• 公開（公告）日: 2021-07-16
• 發明（設計）人: 顏成鋼;戴振宇;路統宇;孫垚棋;張繼勇;張勇東
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 朱月芬

1.一種基于深度學習的司機危險駕駛動作識別方法，其特征在于，步驟如下：

步驟一：采集司機的動作數據：

通過數據采集模塊實時采集司機的動作數據；

步驟二：搭建數據處理云中心；

數據處理系統采用在線數據處理，搭建數據處理云中心，通過數據傳輸模塊將數據采集模塊采集到的司機的動作數據傳輸至數據處理云中心進行集中處理；

步驟三；TSM模型的改進；

將視頻模型的特征映射表示為A∈R^{N×C×T×H×W},其中，N表示批處理的數值大小，C是通道數量，T是時間維度，H和W表示空間分辨率；TSM模型在時間維度上對通道進行轉移，包括前向和反向，相鄰幀的信息會在轉移后和現在的幀進行融合；在時間維度上進行±2的轉移得到改進的TSM模型；對于在線數據處理，改進的TSM模型處理視頻信息從時間維度轉變為了通道維度，每次轉移所有通道數的1/4，即后向轉移1/4，用于司機視頻數據的在線處理；

步驟四：識別模型搭建；

識別模型基于CNN網絡框架，使用Resnet作為模型的主干網絡，將改進后的TSM模型集成為一個計算模塊，插入到Resnet殘差塊中，成為一個變殘差塊；然后以變殘差塊為基塊搭建好Resnet神經網絡模型，即得到識別模型；

步驟五：識別模型訓練；

通過數據采集模塊采集規定的司機動作數據：分別要求不同司機作出打電話、打哈欠、頻繁眨眼、抽煙、低頭動作；將收集到的司機視頻數據解耦為圖片作為數據集，并將數據集分為訓練集和測試集，通過訓練集對搭建的識別模型進行訓練，獲得最優的模型參數，并通過測試集驗證效果；

步驟六：數據處理；

通過數據采集模塊采集司機的動作數據，通過數據傳輸模塊將采集到的司機的動作數據傳輸至數據處理云中心，數據處理云中心將采集到的司機動作視頻數據進行預處理解耦為圖片，然后輸送到數據處理單元；數據處理單元對獲得的圖片數據進行隨機采樣，并通過訓練好的識別模型進行數據處理，輸出司機是否有違規動作以及違規動作的類別，然后通過數據傳輸模塊將結果反饋給司機或公司的管理部門。

2.一種基于深度學習的司機危險駕駛動作識別系統，其特征在于，包括數據采集模塊、數據處理云中心、數據處理單元和數據傳輸模塊；

所述的數據采集模塊用于實時采集司機的動作數據；

所述的數據處理云中心用于對采集到的司機動作視頻數據進行預處理解耦為圖片；

所述的數據處理單元設置在數據處理云中心上，用于對獲得的圖片數據進行隨機采樣，并通過訓練好的識別模型進行數據處理，輸出司機是否有違規動作以及違規動作的類別；

所述的數據傳輸模塊用于將數據采集模塊采集到的司機的動作數據傳輸至數據處理云中心，和將識別模型的輸出結果傳輸給司機或公司的管理部門。

3.根據權利要求2所述的一種基于深度學習的司機危險駕駛動作識別系統，其特征在于，進一步的，所述的數據采集模塊采用高清攝像頭，高清攝像頭安裝在交通工具駕駛位的左前或右前方。

4.根據權利要求3所述的一種基于深度學習的司機危險駕駛動作識別系統，其特征在于，進一步的，所述的識別模型基于CNN網絡框架，使用Resnet作為模型的主干網絡，將改進后的TSM模型集成為一個計算模塊，插入到Resnet殘差塊中，成為一個變殘差塊，然后以變殘差塊為基塊搭建好Resnet神經網絡模型，即得到識別模型。