[發明專利]一種基于PIPNet網絡改進的駕駛員疲勞檢測方法、設備及存儲介質

在審

• 申請號: 202310406715.6
• 申請日: 2023-04-17
• 公開（公告）號: CN116434204A
• 公開（公告）日: 2023-07-14
• 發明（設計）人: 張登銀;唐修文
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06V20/59
• 分類號: G06V20/59;G06V40/16;G06V10/82;G06V10/766;G06V10/774;G06V20/40;G06N3/045
• 代理公司: 南京縱橫知識產權代理有限公司 32224
• 代理人: 劉艷艷

1.一種基于PIPNet網絡改進的駕駛員疲勞檢測方法，其特征在于，包括：

獲取待檢測的駕駛員人臉圖片；

將所述待檢測的駕駛員人臉圖片輸入訓練好的駕駛員疲勞檢測模型，其中所述駕駛員疲勞檢測模型包括主干網絡、PIP回歸器和可變形解碼器，其中主干網絡為將CA注意力模塊嵌入到ScalableViT網絡中替換PIPNet網絡的主干ResNet；

待檢測的駕駛員人臉圖片經過主干網絡特征提取得到特征圖；

特征圖經過PIP回歸器預測出每個關鍵點以及每個關鍵點的10個最近關鍵點鄰居的坐標，求得初始關鍵點坐標；

基于所述初始關鍵點坐標，可變形解碼器在最后三層特征圖上進行采樣，對初始關鍵點坐標進行微調得到68個人臉關鍵點坐標；

根據所述68個人臉關鍵點坐標以及預設閾值，判斷駕駛員是否處于疲勞駕駛狀態，得到駕駛員疲勞檢測結果。

2.根據權利要求1所述的基于PIPNet網絡改進的駕駛員疲勞檢測方法，其特征在于，所述駕駛員疲勞檢測模型的訓練方法包括：

步驟1：獲取具有68個人臉關鍵點的數據集，根據數據集生成平均人臉的關鍵點坐標，并對數據集進行標簽標注；

步驟2：構建駕駛員疲勞檢測模型；

步驟3：利用帶標簽的數據集和平均人臉的關鍵點坐標對構建的駕駛員疲勞檢測模型進行訓練，得到訓練好的駕駛員疲勞檢測模型。

3.根據權利要求2所述的基于PIPNet網絡改進的駕駛員疲勞檢測方法，其特征在于，獲取具有68個人臉關鍵點的數據集，還包括對具有68個人臉關鍵點的數據集進行預處理，所述預處理包括：對數據集中的駕駛員人臉圖片根據預設的邊界框擴大10％裁剪出人臉圖像，然后調整大小為256×256；

和/或，利用帶標簽的數據集和平均人臉的關鍵點坐標對構建的駕駛員疲勞檢測模型進行訓練過程中，根據訓練集生成的平均人臉的關鍵點坐標，算出每個關鍵點的10個最近關鍵點鄰居的坐標，用于輔助鄰居關鍵點的坐標回歸。

4.根據權利要求1所述的基于PIPNet網絡改進的駕駛員疲勞檢測方法，其特征在于，待檢測的駕駛員人臉圖片經過主干網絡特征提取得到特征圖，包括：ScalableViT-S網絡中CA注意力模塊使用自注意力機制進行特征提取代替傳統卷積網絡使用卷積核進行特征提取；CA注意力模塊將通道注意力和空間注意力相融合，用于學習通道間的關系和關鍵點的位置信息。

5.根據權利要求1所述的基于PIPNet網絡改進的駕駛員疲勞檢測方法，其特征在于，特征圖經過PIP回歸器預測出每個關鍵點以及每個關鍵點的10個最近關鍵點鄰居的坐標，求得初始關鍵點坐標，包括：

PIP回歸器在低分辨率上使用熱圖回歸預測出每個關鍵點的所在網格、關鍵點相對網格左上角在x軸和y軸上的偏移量以及每個關鍵點10個最近鄰居關鍵點的相對該網格左上角在x軸和y軸上的偏移量；

將每個關鍵點直接預測的坐標和由鄰居關鍵點輔助預測出該關鍵點的坐標求均值得到初始關鍵點坐標；

其中x_i、y_i表示第i個初始關鍵點的x軸、y軸的值，x和y為直接預測出的每個關鍵點的x軸、y軸的值，K表示每個關鍵點有K個鄰居關鍵點輔助求坐標值，x_j、y_j表示第K個鄰居關鍵點預測第i個關鍵點的x軸、y軸的值。

6.根據權利要求1所述的基于PIPNet網絡改進的駕駛員疲勞檢測方法，其特征在于，基于所述初始關鍵點坐標，可變形解碼器在最后三層特征圖上進行采樣，對初始關鍵點坐標進行微調得到68個人臉關鍵點坐標，包括：

所述可變形解碼器包括三層可變形解碼器，每層可變形解碼器串聯自我注意力模塊和多尺度可變形注意力模塊；

可變形解碼器將初始關鍵點作為參考點，在相對待檢測的駕駛員人臉圖片下采樣為8、16、32的特征圖上進行采樣點，輸出每個關鍵點在x軸和y軸上的偏移量和初始關鍵點坐標相加，得到最終的68個人臉關鍵點坐標。