[發明專利]一種基于級聯式網絡架構的駕駛員分心檢測方法及系統

在審

• 申請號: 202110506405.2
• 申請日: 2021-05-10
• 公開（公告）號: CN113343764A
• 公開（公告）日: 2021-09-03
• 發明（設計）人: 尹智帥;肖軼戈;王鵬;秦國鈺
• 申請（專利權）人: 武漢理工大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08;G06T7/246;G06T7/269
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 肖明洲

1.一種基于級聯式網絡架構的駕駛員分心檢測方法，其特征在于，包括以下步驟：

步驟1：對輸入的駕駛員分心行為視頻進行人體姿態估計；

輸入的駕駛員分心行為視頻包括駕駛人看窗外風景、操控車載影音娛樂設備、操控手機、使用手機接聽電話、吃零食、和乘客聊天共六種類別；并對視頻數量和長度進行統一，每類駕駛員分心行為中都有N個[M1，M2]秒的具有類似特征的短視頻；其中，N、M1、M2為預設值；

步驟2：將步驟1中得到的人體姿態估計的輸出視頻去除背景，得到人體骨架運動視頻，并從中提取出單幀人體骨架圖像作為空間流卷積神經網絡的輸入；

所述空間流卷積神經網絡的卷積層的卷積核全部是3×3的小型濾波器，操作步長為1，4個卷積層的卷積核數目依次為16個、32個、64個、128個；中間插入最大池化層，以減少中間數據的空間，操作步長為1；最后用2個大小不同的全連接層依次進行特征降維，后一個全連接層的輸出神經元個數為6，對應于駕駛員分心行為的6個類別；

步驟3：利用步驟2中得到的人體骨架運動視頻計算得到連續幀的人體骨架光流圖像，作為時間流卷積神經網絡的輸入；

所述時間流卷積神經網絡結構與空間流卷積神經網絡結構相同；

步驟4：對生成的單幀的人體骨架圖像和連續幀人體骨架光流圖像分別輸入到空間流卷積神經網絡和時間流卷積神經網絡，得到兩個通道的駕駛員分心檢測結果；

步驟5：對雙流網絡的輸出結果進行決策級融合，生成最終的檢測結果。

2.根據權利要求1所述的基于級聯式網絡架構的駕駛員分心檢測方法，其特征在于：步驟1中，利用訓練好的人體姿態識別網絡對輸入的駕駛員分心行為視頻進行人體姿態估計；再將經過人體姿態估計網絡處理的駕駛員分心行為視頻按照人體骨架關鍵點構建的人體上半身區域進行裁剪保存，再以長邊為基準統一縮放成預定大小進行輸出。

3.根據權利要求1所述的基于級聯式網絡架構的駕駛員分心檢測方法，其特征在于：步驟2中，對原輸入圖像做乘以0的操作，將原輸入圖像置為黑色，僅保留提取到的人體骨架信息，從而去除背景和減少光流計算成本，彌補以原始RGB生成光流圖像實時性不足的缺點。

4.根據權利要求1所述的基于級聯式網絡架構的駕駛員分心檢測方法，其特征在于：步驟3中，考慮一個像素I(x，y，t)在第一幀的光強度，該像素移動了(dx，dy)的距離到下一幀，用了dt時間，其中t代表其所在的時間維度；假設該像素在運動前后的光強度是不變的，即：

I(x，y，t)＝I(x+dx，y+dy，t+dt) (1)；

將公式(1)右端進行泰勒展開，得：

其中ε代表二階無窮小項，再將公式(2)代人公式(1)得：

令分別表示圖像中像素點的灰度沿x，y，t方向的偏導數，分別代表光流沿x軸與y軸的速度矢量；

則公式(3)為：

I_xu+I_yv+I_t＝0 (4)；

其中，I_x，I_y，I_t均由圖像數據求得，(u，v)即為所求光流矢量。

5.根據權利要求1-4任意一項所述的基于級聯式網絡架構的駕駛員分心檢測方法，其特征在于：步驟5中，所述決策級融合，對每一種信息源分別訓練深度神經網絡，每種神經網絡都能對多類駕駛分心行為做出分類決策，然后再對這些決策結果進行融合，通過訓練調參得到最優的權重參數，從而獲得最終的駕駛分心行為檢測結果。

6.一種基于級聯式網絡架構的駕駛員分心檢測系統，其特征在于，包括以下模塊：

模塊1，用于對輸入的駕駛員分心行為視頻進行人體姿態估計；

輸入的駕駛員分心行為視頻包括駕駛人看窗外風景、操控車載影音娛樂設備、操控手機、使用手機接聽電話、吃零食、和乘客聊天共六種類別；并對視頻數量和長度進行統一，每類駕駛員分心行為中都有N個[M1，M2]秒的具有類似特征的短視頻；其中，N、M1、M2為預設值；

模塊2：用于將模塊1中得到的人體姿態估計的輸出視頻去除背景，得到人體骨架運動視頻，并從中提取出單幀人體骨架圖像作為空間流卷積神經網絡的輸入；

所述空間流卷積神經網絡的卷積層的卷積核全部是3×3的小型濾波器，操作步長為1，4個卷積層的卷積核數目依次為16個、32個、64個、128個；中間插入最大池化層，以減少中間數據的空間，操作步長為1；最后用2個大小不同的全連接層依次進行特征降維，后一個全連接層的輸出神經元個數為6，對應于駕駛員分心行為的6個類別；

模塊3，用于利用模塊2中得到的人體骨架運動視頻計算得到連續幀的人體骨架光流圖像，作為時間流卷積神經網絡的輸入；

所述時間流卷積神經網絡結構與空間流卷積神經網絡結構相同；

模塊4，用于對生成的單幀的人體骨架圖像和連續幀人體骨架光流圖像分別輸入到空間流卷積神經網絡和時間流卷積神經網絡，得到兩個通道的駕駛員分心檢測結果；

模塊5，用于對雙流網絡的輸出結果進行決策級融合，生成最終的檢測結果。