[發明專利]一種睡崗識別方法、裝置、設備及介質

在審

• 申請號: 202210439925.0
• 申請日: 2022-04-25
• 公開（公告）號: CN114821647A
• 公開（公告）日: 2022-07-29
• 發明（設計）人: 范文豪;張永輝
• 申請（專利權）人: 濟南博觀智能科技有限公司
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V10/80;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 張志梅

1.一種睡崗識別方法，其特征在于，包括：

獲取待識別圖片中人體目標對應的頭肩區域圖，并確定出與所述頭肩區域圖對應的目標高斯熱點圖；

提取所述頭肩區域圖的語義特征信息以及所述目標高斯熱點圖的空間特征信息；

將所述語義特征信息與所述空間特征信息進行特征融合，并基于融合后特征信息判斷所述待識別圖片中的所述人體目標是否處于睡崗狀態。

2.根據權利要求1所述的睡崗識別方法，其特征在于，所述獲取待識別圖片中人體目標對應的頭肩區域圖，包括：

將待識別圖片輸入至訓練后的人體頭肩檢測模型中以獲取所述待識別圖片中人體目標對應的頭肩區域圖；所述人體頭肩檢測模型為基于YOLO v5網絡構建的模型，并且，所述YOLO v5網絡中的Neck采用BiFPN結構。

3.根據權利要求1所述的睡崗識別方法，其特征在于，所述確定出與所述頭肩區域圖對應的目標高斯熱點圖，包括：

將所述待識別圖片輸入至訓練后的關鍵點檢測模型，以得到所述待識別圖片的人體關鍵點，并基于所述待識別圖片的人體關鍵點構建所述待識別圖片對應的原始高斯熱點圖；

從所述原始高斯熱點圖中確定出與所述頭肩區域圖對應的高斯熱點，以得到與所述頭肩區域圖對應的目標高斯熱點圖。

4.根據權利要求3所述的睡崗識別方法，其特征在于，還包括：

獲取包含所述待識別圖片以及與所述待識別圖片相鄰的若干圖片的目標圖片組，并通過檢測所述目標圖片組中不同相鄰圖片之間的關鍵點位置變化，以確定所述待識別圖片中是否包含靜態人體目標；

相應的，所述獲取待識別圖片中人體目標對應的頭肩區域圖，包括：

當所述待識別圖片中包含靜態人體目標，則獲取所述待識別圖片中的所述靜態人體目標對應的頭肩區域圖。

5.根據權利要求4所述的睡崗識別方法，其特征在于，還包括：

基于Shuffle網絡與HRNet網絡構建人體姿態估計模型；

相應的，所述將所述待識別圖片輸入至訓練后的關鍵點檢測模型，以得到所述待識別圖片的人體關鍵點，包括：

將所述待識別圖片輸入至訓練后的所述人體姿態估計模型，以通過所述人體姿態估計模型對所述待識別圖片進行人體姿態估計，得到在人體姿態估計過程中檢測出的人體關鍵點。

6.根據權利要求1至5任一項所述的睡崗識別方法，其特征在于，所述提取所述頭肩區域圖的語義特征信息以及所述目標高斯熱點圖的空間特征信息，將所述語義特征信息與所述空間特征信息進行特征融合，并基于融合后特征信息判斷所述待識別圖片中的所述人體目標是否處于睡崗狀態，包括：

通過訓練后的狀態分類模型，提取所述頭肩區域圖的語義特征信息以及所述目標高斯熱點圖對應的不同人體關鍵點之間的空間位置關系，并將所述語義特征信息和所述空間位置信息進行特征融合，然后利用融合后特征信息對所述待識別圖片中的所述人體目標的狀態進行分類，以得到相應的人體狀態類別；所述人體狀態類別包括處于睡崗狀態對應的類別以及處于非睡崗狀態對應的類別。

7.根據權利要求6所述的睡崗識別方法，其特征在于，還包括：

將GhostNet網絡作為基礎網絡以及將ArcFace函數作為損失函數，構造所述狀態分類模型；

其中，所述狀態分類模型中的所述GhostNet網絡用于提取所述頭肩區域圖的語義特征信息以及所述目標高斯熱點圖對應的不同人體關鍵點之間的空間位置關系。

8.一種睡崗識別裝置，其特征在于，包括：

頭肩區域確定模塊，用于獲取待識別圖片中人體目標對應的頭肩區域圖，并確定出與所述頭肩區域圖對應的目標高斯熱點圖；

特征信息提取模塊，用于提取所述頭肩區域圖的語義特征信息以及所述目標高斯熱點圖的空間特征信息；

狀態判斷模塊，用于將所述語義特征信息與所述空間特征信息進行特征融合，并基于融合后特征信息判斷所述待識別圖片中的所述人體目標是否處于睡崗狀態。